面向服装行业的人体三维重构建模研究现状

李玉卓，李新荣 ，冯文倩，蒋 蕾

(1.天津工业大学 机械工程学院，天津 300387； 2.天津市现代机电装备技术重点实验室，天津 300387； 3.天津工业大学 纺织科学与工程学院，天津 300387)

服装行业正由传统生产方式向服装虚拟展示、网络虚拟试衣、服装个性化定制等数字化和智能化方向发展，快速精准的建立与各种体型身材尺寸相符合的三维虚拟人体模型，即快速重构逼真的三维人体模型是服装行业实现数字化和智能化的关键环节。近年来，已有学者对人体三维重构方法做了总结，但并未确定一种可应用于服装行业的时间短、设备简单和真实感强的建模方法。一种规格简单、无需复杂采集和处理装置的三维人体重构方法可在短时间内建立虚拟人体模型，人们依据重构出的符合自身特征的三维虚拟人体模型可完成直观有效的服装定制和虚拟试衣等，因此有必要对当前面向服装行业的人体三维重构方法的研究现状进行分析。

三维人体重构的建模方法目前有很多，主要应用在以下几个方面：基于三维扫描数据的人体重构，一般使用三维扫描仪得到的单张或多帧数据来重构一个静态的三维人体模型，刘咏梅等[1]使用Vitus Smart三维人体扫描仪构建了儿童系列的虚拟人台，这一方法完成了由二维试衣到三维试衣的转变，但使用的扫描仪设备体积大、造价高，对环境和机器本身有较高要求，使用不便。基于特定软件的人体重构方法无需占用很大的空间，如吴旭琤[2]基于Unity3D完成了虚拟人模型的建立并能够控制虚拟人的姿态，但这一方法对人体动态的描述较差且需要足够知识储备才能完成对软件的操控。基于参数化曲面建模的人体重构方法可以通过输入参数快捷修改人体模型中某些细微之处，Wang等[3]开发了1个三维建模系统，在标准人体模型的基础上按照相应的尺寸修改参数从而生成个性化三维人体模型，建模速度快且精度高，但在确定人体主要特征参数时较为困难。基于图像的重构方法是指使用单张或多张图像精准重构三维人体模型，陈佳宇等[4]构建了输入人体轮廓二值图像重构人体模型的卷积神经网，利用二维图像与三维人体模型点云数据的映射关系重构人体模型，这一方法能够快速重构人体模型，但对重构后的人体模型进行细节上的修改则较为繁琐。本文对目前已有的人体三维重构建模方法进行对比研究，提出将基于二维图像的数据提取与参数化曲面建模的人体重构相耦合的思路，首先通过软件建立标准三维人体通用模型，再将从二维图像中提取的人体尺寸数据作为参数，然后通过参数化驱动建模对人体模型的细节进行修改，可快速且精准的得到个性化三维人体模型，为服装虚拟展示、网络虚拟试衣和服装个性化定制等提供了技术支撑。

1 三维人体重构方法

面向虚拟试衣、服装设计等领域的三维人体重构方法要求模型外形逼真且需严格控制其各项人体特征与真人之间的误差，好的人体重构方法能为三维虚拟试衣等提供接近于真实人体试穿的效果，下文将对已有的人体重构方法进行汇总和概述。

1.1 基于三维扫描技术的人体重构

三维人体扫描融合了信息处理、电子学、计算机图形学、计算机视觉等多项技术进行人体重构工作，三维人体扫描主要完成采集人体的高精度点云图像、提取特征等工作[5]。基于三维扫描技术的人体重构技术路线见图1。

图1 三维人体扫描技术路线图Fig.1 Roadmap of 3D body scanning technology

1.1.1 全身扫描仪

全身扫描仪是一种基于光学的3D测量系统。主要使用激光测量法、白光相位法、莫尔条纹法和红外线测量法获得所需数据。

世界上最早的全身扫描仪是Cyberware公司的WB4全身扫描仪[6]，如图2所示。WB4全身扫描仪采用激光扫描技术得到了高分辨率的人体外表面，激光测量法依据相似三角形原理，通过激光的出射点、激光照射在被测人体上的投影点、成像点这三点之间的关系确定人体表面的数据信息并获得准确的三维位置，最终以点云形式重构三维人体模型[7]。

图2 Cyberware WB4对人体进行全身扫描示意图Fig.2 Whole body scanning of human body with cyberware Wb4

随后TC2公司研发了基于结构光模式并能够投影的TC2扫描仪，如图3 所示。这一设备将投影仪和照相机组合为1个传感器，使用白光分层轮廓检测方法获取人体三维数据，这一方法使用白色光源把正弦曲线投影到人体表面，人体表面的不规则性使投影发生变形，由此产生的图样可用来表示人体的表面数据，最后将6台摄影机采集的单一图像合成为人体表面数据图像[8]。

图3 TC2投影机、摄像机和扫描物体之间的三角测量示意图Fig.3 Schematic diagram of TC2 triangulation between projector, camera and scanned object

前面2种方法都会因被测者着装而产生一定测量误差，而基于CCD与红外传感技术的红外线测量法可避免这一劣势，其原理是红外光电二极管通过脉冲进行传送，然后通过投射镜头将被测人体表面反射成像，第二级镜头收集光线聚焦于PSD，PSD在这一过程中的主要作用是检测质心位置，如图4所示。基于PSD的光电二极管测量方法与之相同，这一方法在Hamamatsu人体扫描系统中得到应用[9]。

图4 基于PSD的光电二极管示意图Fig.4 Schematic diagram of photodiode based on PSD

全身扫描仪具有采集数据迅速、建模精度高的特点。但需要花费大量的时间去处理带有噪声的数据以及填充不完整表面，且有些细节仍难以解决，包括腋窝和胯部的阴影部分、头发和皮肤对光的吸收效果、数据处理等方面[10]，若要减少阴影效果则需要多台相机同时工作，这就体现出扫描仪普遍存在的仪器占地面积大、造价昂贵等劣势，使得全身扫描仪不能为普通用户所使用，只能用于特定科研公司、高校等。

1.1.2 深度扫描仪

深度扫描仪使用光编码技术得到物体的点云信息，其主要是依靠扫描仪发射的激光透过毛玻璃因散落距离不同形成不同图案的随机衍射斑点，得到物体的几何位置。由于深度扫描仪具有点云数据实时输出、重构过程不完全依赖于图像、操作简单、制造成本相对较低等优势，借助深度扫描仪完成三维人体重构的建模方法逐渐开始被应用。

Kinect摄像头在标准视频速度范围内，可同时测量深度和颜色2个参数，但Kinect相机存在远距离获取人体全身图像导致扫描数据质量较差的问题，Yan等[11]使用超高分辨率算法，结合深度和颜色传感器帧来提高分辨率解决以上问题，但实际效果并不理想，随后有学者提出使用多台Kinect深度相机扫描人体不同部位，然后将多个传感器中获得的图像数据整合以重建精确的人体模型[12-14]，如图5所示，解决了深度相机大范围扫描精度低这一问题。

图5 3个Kinects深度相机人体扫描示意图Fig.5 Schematic diagram of human body scanning with three Kinects depth cameras

RGB-D相机可以获得RGB图像以及每像素的深度信息。Peter等[15]和Richard A等[16]将视觉和深度信息相结合重建出室内场景，同样原理也可使用Kinect相机进行人体重构，Kinect深度传感器基于红外相机向人体发射的红外光束，使用激光三角测量法得到精密度以毫米为单位的深度图像，将不同角度得到的不同深度图像融合相交实现人体三维重构[17]。Zollhoefer等[18]就使用深度扫描和Kinect传感器结合重建了面部几何和纹理。

深度扫描仪扫描范围广，相比较全身扫描仪价格低廉，便于放置。但深度相机对于人脸、头发和服饰等细节处理较差，分辨率不高且获得的图像噪声大，将多幅深度图像进行融合的算法开发具有一定的难度，还存在点云数据采集过程中人体很难长时间保持同一姿势而出现的非刚体配准的问题。

1.2 基于特定软件的人体重构

使用特定的软件可以获取人体曲面，也可实现对模型的渲染和交互控制，目前能实现三维人体重构的交互式软件有3D Studio MAX、OpenGL、Geomagic、MatLab、Poser等。

首先通过非接触扫描设备获取建模所需人体部位的尺寸数据，再通过Geomagic或MatLab对人体模型进行逆向重构[19-21]，这种方法可实现大量个性化数字人体模型的构建，但前期花费较大，构建出的人体模型因测量误差也会出现变形现象。针对这一问题，王鹏等[22]提出将OpenGL和3D Studio MAX软件结合重构人体模型，利用OpenGL制作的动画具有交互性且可以实时控制，三维动画软件3D Studio MAX可轻松建立复杂物体的模型[23]。先使用三维动画软件3D Studio MAX搭建人体模型，再运用OpenGL对已建立的模型进行编程和控制，得到的三维人体模型就可控制误差并做任意的变形。

陈君[24]通过Poser构造人体模型，如图6所示，首先使用Poser采集大量人体复杂曲面的顶点数据并导出，再使用Java 3D将顶点数据转化为小三角面并形成人体曲面，最后完成对Poser构建的人体模型的交互控制及模型与环境的融合。结合2个软件的优势实现了快速建模、形态逼真和交互性强的静态人体模型。

图6 基于Poser人体重构系统结构图Fig.6 Body reconstruction system structure diagram based on Poser

利用软件建模定义过程简单、数据修改便捷，但一般需要将2个软件结合起来使用并充分发挥各自的优势，这对操作人员的专业技能有较高要求，所以不能广泛地应用于日常生活中，且操作人员在长时间的工作中容易因疲惫而导致出错率增加。

1.3 基于参数化曲面建模的人体重构

人体特征点的位置及特征尺寸的长度随人体体型变形而变化，以人体特征尺寸定义特征参量，可通过局部围度特征变形实现人体围度的变形[24-25]，但这一方法与真实人体曲面变形相差较大，在此基础上，修毅等[26]通过设置特征围线并采用角度加权平均算法实现变形，加强了人体曲面变形的精度，但仅适用于围线起伏较小的部位。

结合人机工程学原理，通过输入特征参数来改变标准3D人体模型生成个性化3D人体模型是基于参数化曲面建模的主要应用形式。以人体尺寸数据和三维点云数据为基础，Seo[27]选择了身高、胯部的长度、臂长、颈围、胸围、下胸围、腰围和臀围8个人体参数用离散数据插值方法对关节和人体形状进行插值得到变形函数，对人体进行变形。郑晓慧[28]选择了身高、坐高、颈椎点高、坐姿颈椎点高等12个关键人体特征点，并将其分成2组确定4个主控参数，根据参数标准差和相关性分析结果使用参数回归技术重构人体模型。主要流程如图7所示。

图7 虚拟人重构流程图Fig.7 Virtual human reconstructs the flow chart

另一种方法是通过轮廓线重建体表曲面重构三维人体模型，秦可等[29]提出了一种任意角度的人体轮廓切片生成算法，使用封闭的B样条曲线表示三维人体表面的轮廓线，通过输入影响用户试衣效果的关键参数后从数据库中选择相似人体模型，再对差异较大部位的轮廓线进行调整构建使用三角网格表示的三维人体模型。崔树芹等[30]对以上算法进行改进并提出基于曲率的双向采样方法，在保存了人体特征点和特征轮廓线的基础上生成了人体骨架，使用少量数据生成了三维人体模型。

参数化建模可以实现大量建模，如果需要对目标建模进行频繁修改，使用参数化建模便可使问题简单化。但这一方法的缺点是需要大量数据支撑且需选取合适的特征点作为变形基底，另外需注意参数的数量问题，若选择的参数不够全面，则无法满足人体重建的要求，若选择的参数数量过于冗杂则会给重建过程增加一定的难度，最终无法达到需要的重建效果。

1.4 基于图像的人体重构

图像建模是指利用真实照片、绘制图像、视频图像、深度图像等获取人体图像的二维信息，再选择相应的图像处理算法提取人体的轮廓、特征尺寸等，将图像数据转化为三维空间数据来构建人体的三维模型。

使用图像建模首先需要解决重构三维人体模型参数和尺寸的获取问题。邓卫燕等[31]通过提取图像上的特征点构造三维人体模型，对人体图像中的头部、手、腿、上半身等特征区域进行定位，然后获取各个部位的像素数，最终得到人体的身高、腿长、臂长等特征尺寸参数，具体流程见图8。

图8 基于图像的人体特征参数提取流程图Fig.8 Flow chart of human feature parameter extraction based on image

基于人体的正面、两侧、背面4幅正交图像重构人体模型的主要过程是在人体图像与模型图像保持相同的标准姿势下提取人体图像与模型图像的轮廓，再进行关键特征点的拟合，最后将标准的三维类人模型转化为近似人的形状，然后使用颜色纹理映射将二维正交视图转化为逼真的三维人体模型[32-33]。Wang等[34]在Hilton研究基础上，使用2张人体图片构成正交图像，使用分割算法对2张图片进行分割得到人体轮廓，再使用轮廓提取算法利用人体形态学规则确定特征点，最后使用视点相关变形技术利用轮廓构造出虚拟人体。与以上相法相比，李基拓等[35]通过变形截面环参数化人体模型得到个性化人体模型，增强了三维人体模型上的点与二维图像上的点对应关系的确定性。

以上是使用正交图像重构人体模型的研究，也有研究者使用非正交的多张图像重构人体模型。Nister等[36]使用针孔相机模型将三维模型从图像和视频中重建出来。使用相机拍摄一组相似度高的重建目标图像，提取未定标图像的特征点作为原始数据，然后与目标图像进行匹配以获得相机参数和特征点所在的三维坐标，完成模型重构。陈利珍等[37]也是通过获取人图像序列完成三维人体重构，但将二维数据转换成三维数据得到标记特征点的三维坐标主要依据立体视觉原理，最终运用3次样条插值法建立平滑的人体曲线绘制出标准三维人体模型，通过标准人体与个性化人体正、侧面图像轮廓之间的比例映射建立个性化三维人体模型。

基于图像的人体重构方法采集序列图像简单、成本低，可以应用于多种场景，重构人体所需的数据容易获取，通过几张序列图像便可以得到人体几何特征，但无法做到控制人体模型的关键尺寸，导致重构出的人体模型缺乏真实感。

2 基于二维图像的参数化三维人体重构方法及其对比分析

当前服装行业需要设备简单、对专业技术要求不高且可以快速成型的人体三维虚拟模型重构建模方法，由此提出将多种方法进行优势耦合，基于二维图像的参数化三维人体重构思路，并与现有三维人体重构方法进行对比分析。

2.1 基于二维图像的参数化三维人体重构

这一方法只需使用手机拍摄任意用户的正、侧面照片，经过后台的轮廓检测、特征点提取、拟合围度尺寸获取用户各个身体部位的尺寸参数，再使用软件建立通用三维人体模型，将尺寸参数用于参数化驱动通用三维人体模型，最终在手机上呈现出高度贴合用户自身尺寸数据的三维虚拟人体模型，如图9所示。显然，基于二维图像参数的三维人体重构成本低、时间短、效率高、真实感强且智能化程度高，更能满足服装行业的个性化设计和大批量定制需求。

图9 基于二维图像的参数化三维人体重构流程 (虚线内为后台运行)Fig.9 Image based parametric 3D human body reconstruction process (the dotted line is the background operation)

2.2 三维人体重构方法及其对比分析

上文介绍了人体三维重构建模的5种方法，并对这5种方法进行了优缺点分析，人体三维重构建模方法对比表如表1所示。

表1 人体三维重构建模方法对比表Tab.1 Comparison of human 3D reconstruction modelingMethods

由表1示出：①基于全身扫描仪和深度扫描仪进行三维人体重构的方法要求三维扫描设备精度高、扫描速度快，但所需扫描设备造价昂贵，只能在特定场所使用。深度扫描仪不需要使用定制的感光芯片，使用普通的COMS感光芯片便可完成扫描，相对于全身扫描仪体积小、制造成本低，但获得的图像分辨率低且图像噪声大，无法满足面向服装行业的三维虚拟人体建模要求。②基于特定软件和图像进行三维人体重构的方法无需使用专业仪器、成本低、操作便捷，但建模质量依赖于建模人员的专业水平，具有很强的局限性，且无法控制重构出的人体模型的关键尺寸，缺乏一定的真实感，无法满足面向服装行业的三维虚拟人体建模要求。③基于参数化曲面建模的人体重构方法可实现大量建模并对重构出的三维人体模型关键尺寸进行修改，但前期需要大量数据支持且特征点及主控参数的选择较为困难。

3 结束语

随着服装行业的不断发展，通过简单的通信设备建立符合真实人体特征的三维人体模型成为服装行业智能化发展的趋势。通过对比分析的方法，对当前基于三维扫描技术、特定软件、曲面建模和视觉图像的人体三维重构建模方法进行优缺点探讨，提出了基于图像的参数化三维人体重构方法，通过对图像的多次处理识别到人体特征点及轮廓等有效信息并采用相关算法拟合出人体尺寸参数，便捷精准的建立了服装行业所需的三维人体模型，该三维人体模型及相应尺寸参数在用户手机中直观呈现，用户可实时查看并使用，这一方式带来了更为流畅的用户体验，未来在纺织服装行业中将会发挥至关重要的作用。