利用面部实时动态捕捉技术进行动画制作
——Character Animator应用实例

马金秀

(中国电影科学技术研究所，北京100086)

1 概述

随着计算机技术的不断进步，动画的制作软件也在不断发展当中，我们看到的美妙绝伦的3D动画片，比如片中随风摆动的真实感的毛发，都是当今主流3D动画制作软件带给我们的视觉盛宴，但这种电影专业级别的动画制作无一例外，需要耗费大量的财力和人力。随着短视频的兴起，如何能在几分钟的视频短片中多一种视觉语言表达?在中国电影科学技术研究所影院放映质量信息服务系统平台的建设过程中，拍摄了一系列稍显枯燥的技术短片，讲述影院放映机的拆卸、安装等，为了增加技术短片的趣味性和观赏性，制作人员在片中增加了一个动画人偶，让其和讲述人穿插互动。这个动画人偶的制作，如果采取传统的3D制作软件——3DMAX或MAYA建模来制作，会耗费过多的精力和人力，不具备可操作性。所以，能快速、便捷制作出动画人偶，能有基本动作和讲述人进行互动，能方便和视频短片进行合成是我们的基本技术需求。最终用到了一款由Adobe打造的2D动画制作软件——Character Animator 2020。这款软件最主要的特征是采用面部实时捕捉和追踪技术，把人脸的表情和人偶进行绑定，根据面部的实时动作，即能实时生成人偶的动作。这对于动画制作来说，省却了建模，手动制作人偶动作，节省了大量时间。对于表演者面部表情的捕捉也使得人偶的表情非常生动和逼真。相较于其他的动画制作软件，Character Animator使得动画制作过程更为便捷、迅速。这种便捷还体现在人偶的设置过程，只需要几秒钟就可以创建一个动画人偶。图1展示了动画人偶影小智和技术短片合成后的效果。本文将从Photoshop中创建人偶，导入Character Animator进行骨骼绑定，到实时捕捉表情进行动画录制，导出动画等几个部分讲述如何通过面部实时捕捉技术进行人偶的制作。

图1

2 机器人的动画人偶制作实例

2.1 人偶制作的三种方式

Character Animator提供了3种人偶制作的方法。

2.1.1 内置人偶模版

Character Animator内置了多种人偶模版，有些只有面部和身体的人偶，面部和手可以设置人偶的动作，有些人偶带有腿部，可以进行走动等动作设置 (图2)。

图2

2.1.2 通过角色设计制作人偶

点击图2中内置人偶中的图片即可进入角色设计界面。这里提供两种方式：一是把表演者自己变成人偶；二是导入图片。经过分析，把图片里的人物变成人偶，此过程用到了Adobe Sensei AI(人工智能)技术。你甚至可以把蒙娜丽莎都变成动画人偶。

(1)把表演者自己变成人偶

面对摄像头，根据提示录制基本表情、微笑、皱眉、惊讶等以及一些简单的语音，如图3。然后系统会自动生成人偶，如图4。可以选择不同的艺术模式，制作完成后，即可以对人偶进行实时动画录制，如图5。

图3

图4

图5

(2)导入人物图片创作艺术人偶

我们选择蒙娜丽莎的人物肖像，可以选择左侧列表中多种艺术模式，有泥塑、简笔画等，进行艺术人偶的制作。图6是把蒙娜丽莎设计成人偶。

图6

(3)从Photoshop或Illustrator中导入已设计好的人偶

这种方式应该是创作自己的人偶最常用的方式，在Phtotoshop或Illustrator中设计制作自己的人偶。人偶分正面组、左侧面组、右侧面组，每个组别下，又细分成头部、身体、胳膊和腿部，以规范的方式命名每一个图层 (目前只支持英文)。从Photoshop或Illustrator中导入已设计好的人偶，Character Animator可以自动识别规范命名的分层文件，从而进行下一步骨骼绑定。

2.2 机器人人偶设计

2.2.1 Photoshop设计机器人人偶

这个机器人人偶设计制作最终要和讲述放映机等技术短片合成，增加短片的可观看度，所以设计思路以投影机作为设计元素，突出机器人可爱、灵动的特征，以增加视频短片的亲和力和趣味性。

机器人人偶在片中要进行走动，所以要设计腿部，并且具备正面站立、左侧面和右侧面三种形态(如图7)。如果只是制作人偶的上半部分，不需要行走的动作也可以不做腿部设计。

图7

2.2.2 Photoshop中规范的文件命名及动作分层

人偶的命名方式一定要规范，这样便于导入Character Animator时对于人偶分层文件的识别。注意要使用英文命名。每一个部件都有单独的图层命名对应，如果这个部件有多个图层替换使用，例如 “眼睛包含了眨眼、睁眼两种可识别的状态”则需要在图层名前加上 “+”号用于行为识别。每一个部件进行编组操作，目前Character Animator中的可识别行为属性只能赋予 “组”。这个机器人人偶的分层文件大致分为3个组：Frontal(正面)、Left profile(左部分)、Right profile(右部分)。

下面具体看一下每个组别下如何细分，比如Frontal组。其他Left profile和Right profile分层文件名是一致的。在Frontal组里，具体又分为：The Head(头部组)、Body(身体组)、Left arm(左胳膊组)、Right arm(右胳膊组)、Left leg(左腿组)、Right leg(右腿组)。在The Head里又包含Left Eyebrow(左眉毛)、Right Eyebrow(右眉毛)、Left Eye(左眼睛)、Right Eye(右眼睛)、Mouth(嘴部)。眼睛组还可以细分成Blink(眨眼睛)、Eyeball(眼球)、Eyeline(眼线)等。嘴部也可以制作多种嘴形，张嘴、闭嘴、哈哈大笑等多种形态。人偶制作越精细，在进行后面动画录制的时候，动作就更灵动。

2.3 Character Animator机器人人偶动画制作

2.3.1 人偶文件导入

打开Character Animator，首先看到一个比较简洁的界面 (如图8)，左侧为项目区，新建项目或打开项目，右侧为内置的人偶模版和一些简单的教学区。现在导入Photoshop设计好的机器人。

图8

(1)点击左侧新建项目，为项目命名后会进入一个新项目。

图9

(2)选择上部菜单下——文件——导入——选择之前设计好的机器人psd文件进行导入。双击左侧导入的机器人名称，即会出现如图9所示的操纵界面，在这个界面进行人偶的骨骼绑定。

2.3.2 人偶的骨骼绑定

(1)人偶的独立组别。在人偶的操纵界面，有一栏以皇冠的图标显示，每个图层组都可以选中(显示黄色)或者取消皇冠图标。选中后可以使得图层独立于其父组，黄色王冠和名称表示控制所选图层的根组，相同根组下的非独立图层可以一起变形。如图10，在Frontal组里，The Head和Body组不是独立组，如果把The Head设置成独立组，会出现头部和身体分离的状况 (如图11)。

图10

图11

(2)为人偶添加骨骼。在操纵界面底部有一排为人偶添加关节和骨骼的工具。手柄工具添加的是关节点，比如肩部、肘部、腕部、臀部、膝关节、脚后跟、脚趾等。骨架工具为人偶添加骨架，顾名思义，类似于人类的骨头，添加了骨架，人偶的行走等动作就有了硬度和力度，否则走路会像面条一样软绵绵。

图12

点击底部的手柄工具为机器人添加关节，关节对应右侧软件当中人偶的关节。点击骨架工具，为机器人添加骨骼。添加完成的机器人人偶左胳膊如图12所示。

(3)用相同的方法为机器人人偶的头部、身体、腿部添加对应的骨骼。

需要注意的是，胳膊、腿部和身体部分，有重叠的关节位置，左胳膊组的左肩和身体组的左肩，右胳膊组的右肩和身体组的右肩，左腿组的臀部和身体组的左臀，右腿组的右臀和身体组的右臀，这4个点都要重叠。拖动关节设置的时候身体部分会呈绿色区域显示，会比较容易找到重叠点。如果未重叠，胳膊或腿部就会和身体脱离。完成骨骼绑定的机器人人偶如图13所示。

图13

2.3.3 为人偶添加行走行为

(1)添加行走行为。骨骼绑定完成后，如果想让人偶动起来，比如走路，那么需要为人偶添加走动的行为。

在操纵界面人偶的名称旁边有一个+号，点击打开下拉列表 (图14)，选择为人偶添加走动。这个行为要赋予整个人偶，只是添加到腿部人偶是不会行走的。

(2)参数设置

界面右侧有属性面板，可以修改走动的参数设置 (如图15)。在模式下拉菜单有立即、向左和向右箭头键、原地三个选项，这是设置人偶开始走动的控制方式。选择立即，在录制界面，不用任何操作人偶会一直立即进行并一直保持走动的状态；选择向左和向右箭头键，则是用键盘上的方向键控制人偶的走动；选择原地，人偶位置不会改变在原地走路。样式下拉列表提供了走动、暴跌、站立、腾跃、潜行、跑动和撞头7种人偶形态，可以根据需要选择。其他参数比如步长、步速、身体速度、摆臂幅度、肩部摇摆等都可以进行调整。

图14

图15

图16

在脸部属性面板中，提供了多种参数可对人偶脸部的参数进行修改。比如眉毛强度，可以设置增加或减少抬升或降低眉毛时的眉毛移动量。比如头部缩放强度，可以设置增加或减少头部接近或远离相机移动时头部的缩放强度，参考图16的对比效果。

2.3.4 动画录制

我们录制歌曲的时候会分轨录制，分别录制吉他、贝斯、鼓和人声等。Character animator使用同样的概念，不同的是使用眼睛注视、唇形同步、脸部等，可以分别进行录制。点击软件左侧上部的“录制”，进入录制界面，如图17所示。

图17

(1)界面简介

录制界面和一般软件类似，左侧是项目区，中间部分是人偶表演舞台，下部是时间线区域，右侧上部是表演者面部捕捉区域，右侧下部是属性设置面板。

(2)新建场景

在录制界面，点击项目区里的新建场景，为设计的动画人偶设置场景舞台。点击右侧面部捕捉区“设置休息姿势”即可自动捕捉到人脸，为动画人偶设置初始状态。点击场景舞台下方的红色圆点即可进行动画录制。

(3)属性设置

在场景界面也有属性面板，可以修改帧速率，使录制的动画更流畅，以及调整场景的宽度和高度。

在录制的界面，点击项目区里的人偶，点击final robot 2机器人人偶的名称，再进行录制的时候，会出现人偶轨道行为面板，选中或取消前面的红点，即可同时录制或分别录制脸部或唇形的动作。也可调整里面的具体参数，比如眉毛移动的高度等，参数设置和操纵面板中的一致。

(4)动画录制

一切准备就绪，在时间线中选择要录制的动画人偶 (可以导入多个人偶)，点击红色录制按钮就可以进行录制了。可以使用键盘和鼠标控制人偶的肢体动作，鼠标可以拖动手臂运动，左右方向键可以控制人偶的走动 (走动的模式设置为向左或向右键)。不需要录制全部内容，可以导入音频，然后点击时间轴——从场景音频计算唇形同步，可以分析语音，并生成所有唇形。

(5)修改已录制的动画

混合分次录制的场次。新录制的场次会在时间线最上层，之前录制的场次呈灰色不显示，调节场次两边的混合手柄，让不同的表演混合在一起，使得过渡和动画更平滑。

对录制场次进行微调。拖拽已录制的场次，可以在时间上移动。

修改已录制的唇形。在唇形同步轨道，点击右键，可以修改已录制好的唇形。

添加关键帧。可以为动画添加透明度、位置等关键帧，Character Animator可以在两个关键帧中间进行自然过渡。

图18是机器人在表演者实时面部表情捕捉和追踪时录制的动画。

图18

2.3.5 导出动画

软件右上角有 “共享”按钮，可以选择输出的格式，可以导出视频，也可以导出图片序列，还可以单独导出人偶。另外还有直播选项，可以将实时场景流传输到其他设备或应用程序。如果要在其他软件，比如AE、Final cut等进行合成，选择带阿尔法通道进行导出。

3 Character Animator和其他软件的动画合成

从Character Animator导出的带通道的视频文件可以导入其他软件进行进一步制作。本案例导入Final cut与实际拍摄的视频短片进行合成。需要注意的是，视频短片中的主持人和机器人要进行互动，为了合成的精准度，视频短片和动画人偶应该同等时长，才能匹配。那么在前期，视频短片拍摄时，需要空出动画人偶的表演时长。在动画人偶录制时，以另外的设备内放已剪辑完成的视频短片，同时进行动画人偶的录制，之后导入Final cut进行合成剪辑。

4 结语

在这次机器人动画人偶的制作过程中，使用Character Animator面部实时捕捉和跟踪技术，为短片最后的完成提供了良好的使用体验，非常简单、方便的设计和骨骼绑定就生成了可以进行动画录制的人偶。这里特别想强调 “录制”这两个字，以前讲到动画片的制作，用到的都是 “制作”，而利用面部实时捕捉技术，进行动画人偶的录制，提供了另外一种生成动画的方式，降低了动画制作的门槛。另外利用表演者人脸捕捉技术生成的动画，也非常生动和灵活，一些参数的设置和修改，可以让表演更真实。但这个软件制作的动画人偶仅限于2D范畴，并且不是传统意义上的制作动画电影的级别，它更适合进行短片制作。在短视频蓬勃发展的今天，可以利用它创作出更丰富多样的动画语言表达，可以制作多种人偶的纯2D动画，也可以合成在已拍摄的视频短片中。