基于实时动作捕捉技术在影视动画中的研究

王 新，朱信忠，赵建民，徐慧英

基于实时动作捕捉技术在影视动画中的研究

王 新，朱信忠，赵建民，徐慧英

随着《金刚》、《加勒比海盗 2》、《阿凡达》等一系列影视作品的热映，这些影片中的虚拟角色可谓是深入人心，深受观众的喜爱。这些虚拟角色的建立不同于传统的3D影视动画制作，而是取自于真实的人物动作和表情。综述了目前动作捕捉领域中几大主流动作捕捉系统，并且详细讲解了动作捕捉技术在影视动画领域的应用，最后提出了一种新的动作捕捉设计方案-无标记点的动作捕捉设计。

动作捕捉；3D动画；光学动作捕捉系统；无标记点动作捕捉

0 引言

近年来，随着计算机技术、图形图像技术和传感器技术的快速发展，产生的动作捕捉技术在影视制作、游戏设计、运动分析、舞蹈采集和虚拟现实中得到了越来越广泛的应用[1]。动作捕捉技术已经作为一种强大的制作手段被充分地用到影视广告和动画制作等相关行业中。光学动作捕捉系统是应用最广泛的动作捕捉系统，它是在演员或需要捕捉的物体的主要关节和部位粘贴上包裹特殊反射材质的球体（Marker），用来反射由红外摄像机发射的光线，然后在摄像机投影图像中获取跟踪点的二维坐标，通过摄像机坐标系和二维坐标系的转换，获得跟踪点的空间运动轨迹，然后把空间轨迹赋予动画模型，使模型具有真人的动作效果。

1 现代主流的动作捕捉系统

目前主流的动作捕捉系统可分为机械式、电磁式、声学式、光学式四类[3]。基于光学式动作捕捉系统主要是利用多个摄像机采集运动图像序列和轨迹，通过识别和跟踪图像信息中特定的 Marker，利用这些标记点的运动信息来进行三维重建，进而完成运动捕捉的任务。

1.1 机械式动作捕捉系统

机械式动作捕捉系统主要是我们借助机械装置来采集运动数据，机械式动作捕捉系统依靠的是机械装置来跟踪和测量运动轨迹。机械式动作捕捉系统一般由多个关节和刚性连杆组成，在可转动的关节中装有角度传感器，可以测得关节转动角度的变化情况。装置运动时，根据角度传感器所测得的角度变化和连杆的长度，可以得出杆件末端点在空间中的位置和运动轨迹。实际上，装置上任何一点的运动轨迹都可以求出，刚性连杆也可以换成长度可变的伸缩杆，用位移传感器测量其长度的变化。

1.2 电磁式动作捕捉系统

电磁式运动捕捉系统是目前比较常用的运动捕捉设备。电磁式动作捕捉系统由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场；接收传感器安置在表演者身体的关键位置，随着表演者的动作在电磁场中运动 , 通过电缆或无线方式与数据处理单元相连，表演者在电磁场内表演时，接收传感器将接收到的信号通过电缆传送给处理单元，根据这些信号可以解算出每个传感器的空间位置和方向。

1.3 声学式动作捕捉系统

声学式运动捕捉系统由发送器、接收器和处理单元组成。发送器是一个固定的超声波发生器，接收器由呈三角形排列的3个超声探头组成。通过测量声波从发送器到接收器的时间或者相位差，系统可以计算并确定接收器的位置和方向。 这类装置成本较低，但对运动的捕捉有较大延迟和滞后，实时性较差，精度一般不很高，声源和接收器间不能有大的遮挡物体，受噪声和多次反射等干扰较大。由于空气中声波的速度与气压、湿度、温度有关，所以还必须在后期的算法中做出相应的补偿。

1.4 光学式动作捕捉系统

光学式动作捕捉系统是目前世界上使用最广泛，技术最完善，使用最方便的动作捕捉系统，它是在演员或捕捉的物体的主要部位和关节处包裹上特殊的反光材质制作的小球，即

我们说的 Marker，利用多个红外摄像机从不同的角度拍摄。然后利用软件分析图像上标记点的图像坐标，利用计算机视觉原理进行三维重建，得出标记点的运动数据。光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，使用方便，采样速率较高，基于以上优点，光学式动作捕捉系统是现阶段应用最广泛的动作捕捉系统。光学式动作捕捉如图1.1 所示：

图1.1 光学动作捕捉系统的 Marker实时捕捉

2 基于动作捕捉技术的影视动画的设计

动作捕捉技术为了能形象的描述真实人体的运动，需要建立一个骨架模型，所有的骨架模型我们存储在下图所示的动作模块数据库中，为了让捕捉到的动作数据来驱动三维人体模型，我们需要将模型与捕捉到的动作数据结合，实现与模型的匹配，从而驱动模型的运动。最后是模型与捕捉数据匹配，以及让模型能跟着捕捉下来的动作数据动起来，具体实现如图1.2 所示：

图1.2 基于动作捕捉的影视动画制作流程图

3 动作捕捉技术在影视动画中的应用

以前的电影是让真实变成虚拟，而如今正让虚拟的场景变成现实。在影视动画制作中大量使用动作捕捉技术是现在国外主要使用的制作手段，也是未来影视动画制作业的发展趋势。一部影视作品利用动作捕捉技术只需要下面的几个步骤就可以快速制作一部受到观众喜欢的影视动画作品，实际操作步骤如图1.3 所示：

1.3 动作捕捉技术的影视制作流程图

我们将运动捕捉技术用于影视和动画制作，可极大地提高影视和动画制作的水平。它能极大提高了影视和动画制作的效率，降低影视动画制作的成本，使影视动画制作过程更为直观，效果更为生动[5]。随着动作捕捉技术的进一步成熟，实时影视动画技术将会得到越来越广泛的应用，而运动捕捉技术作为影视动画系统不可缺少的、最关键的部分，必然显示出更加重要的地位。

4 一种新的动作捕捉系统设计

4.1 无标记动作捕捉技术

光学动作捕捉系统虽然可以捕捉实时运动轨迹，但是我们知道该系统价格昂贵，后期的数据处理包括 Marker 的识别、跟踪、空间坐标等的计算繁杂[6]。而且这类系统对于表演场地的光照、反射情况非常敏感。装置的定标也较为繁琐，特别是当运动复杂或者速度较快的时候，不同部位的 Marker很容易混淆、遮挡，产生错误的结果，经常需要人工干预后处理。由于这样那样的各种限制，所以几乎所有的光学捕捉跟踪系统都还需要依靠后序处理程序对捕捉的数据进行分析、加工和整理，然后才能把这些数据应用到动画角色模型上去。基于现代光学动作捕捉的缺点，我们推出一种新的动作捕捉方案-无标记动作捕捉。

4.2 无标记动作捕捉技术的原理

新兴的光学动作捕捉系统即无标记点（Markerless）的运动捕捉。无标记动作捕捉需要分析和表达人体的运动，整个捕捉过程可以分为图像分割、图像跟踪、姿势估计和识别。图像分割和跟踪的目的就是正确地从图像序列帧中识别目标。最简单的图像分割方法叫做差别法，我们用摄像机连续记录两幅图像的时候，如果这两个连续图像 A1和 A2的差别已经包含在这连续二帧图像之中了。图像跟踪和姿势估计的目的是基于模型来描述人体姿势，我们知道关节的运动方法用参数化的人体模型，这样做的优点是每个状态代表一个物理的有效姿势，从而可以利用已有的动作先验信息。无标记点的动作捕捉弥补了光学动作捕捉系统的缺陷，极大的提高了动作捕捉的数据的准确性。

5 总结

论文主要是论述了现代动作捕捉技术在影视动画制作方面的应用，随着动作捕捉技术的不断发展和完善，动作捕捉技术必将在我们的日常生活中得到越来越重要的应用。光学式动作捕捉系统的出现，大大降低了影视动画制作的拍摄成本，并且使得影视和动画画面逼真。提出一种最新的动作捕捉设计方案-无标记的动作捕捉设计，相信随着科技的继续发展和相关应用领域技术水平的提高，运动捕捉技术将会得到更大的实际应用。

[1]孙国玉. 运动捕捉技术与 FilmBox 基础教程[M].北京：北京广播学院出版社 .2002.04.

[2]王士华.Motion Capture 运动捕捉初级教程[M].北京:北京希望电子出版.2000.1.

[3]明政.《动画动态制作-动作捕捉技术基础》[M].北京：清华大学出版社.2013.5

[4]远淑，陈福民.基于动作捕捉的计算机动画探讨与实现[J].同济大学学报.2004.7

[5]伯详，魏小鹏.光学运动捕捉散乱数据处理的一种方法[J].系统仿真学报.2008.1

[6]士华，于涛.MotionCapture 运动捕捉高级教程[M].北京：北京希望电子出版社. 2002.5.

Research of Film and Animation Based on the Real-time Motion Capture Technology

Wang Xin, Zhu Xinzhong, Zhao Jianmin, Xu Huiying
(College of Mathematics, Physics and Information Engineering, Zhejiang Normal University, Jinhua321004, China)

Along with the " King Kong ", " Pirates of the Caribbean 2", " Afanda " and a series of films and television works together, virtual characters of these videos are deeply loved by the audience. These virtual characters are different from the traditional 3D film and television animation; they come the real action and expression. This article reviews several major motion capture. System in the current motion capture area, and explains the motion capture technology in video applicationsin detail. Finally, it presents a new motion capture design - marker-less motion capture design.

Motion Capture; 3D Animation; Opticalmotion Capture System; Markerless

TP311

A

1007-757X(2014)02-0016-02

2014.02.25）

浙江省大学生科技创新活动计划 (新苗人才计划)(编号：2013R404047)

王 新（1988-），男，浙江师范大学数理与信息工程学院，硕士研究生，研究方向：动作捕捉，浙江金华，321004朱信忠（1975-），男，浙江师范大学数理与信息工程学院，副教授，硕士生导师，研究方向：智能控制，模式识别与数字工程,多媒体图像检索等，浙江金华，321004赵建民（1951-），男，浙江师范大学数理与信息工程学院，教授，博士生导师，研究方向：人工智能, 模式识别等，浙江金华，32l004徐慧英（1977-），女，浙江师范大学数理与信息工程学院，副教授，研究方向：智慧物流, 物联网通信，模式识别与图像处理等，浙江金华，32l004