基于双相机捕获面部表情及人体姿态生成三维虚拟人动画

（四川大学计算机学院，成都 610065）

0 引言

随着虚拟现实技术走进大众生活，人们对虚拟替身的获取手段及逼真程度都提出较高要求，希望能够通过低成本设备，在日常生活环境下获取替身，并应用于虚拟环境［1］。

目前，动作捕获生成三维虚拟人动画的技术在动画影视、人机交互、虚拟现实等行业已得到广泛应用。商业领域已经成功运用复杂的设备及标记点的方法驱动模型，生成动画。例如，Vicon Cara System、OptiTrack Expression 等动作捕获系统，利用光学传感器，为人体贴上多个标记跟踪点，可对人类全身运动及面部表情进行准确捕捉，最优捕捉精度可达到20 μm。这类设备采集过程有侵入性、价格昂贵、应用场景复杂，难以进一步在日常生活中应用。

对普通用户而言，单目相机相对动作捕获设备价格更低，操作更灵活，能在大多数人机交互场景应用。因此，如何利用单目相机跟踪人体运动，生成自然逼真的动画，是近年来计算机视觉和人体运动仿真的一个研究热点。

围绕单目相机实时跟踪人体运动生成动画的问题，本文展开了深入的研究。首先，采用传输控制协议（Transmission Control Protocol，TCP）网络时间戳实现双相机时间同步，使用张正友标定法［2］实现双相机空间同步；然后，通过同步后的双相机分别采集面部表情及人体姿态，获得模型驱动数据；最后，在虚幻引擎4（Unreal Engine 4，UE4）中驱动三维虚拟人生成动画。从实验生成的虚拟人动画效果来看，本文提出的方法能实时捕获人体、面部的运动，可以获得姿态、表情动作一致的动画效果，有较好的用户视觉体验。……