当前国产电影2D转3D技术的问题与对策

李 侃 马同斌

（作者单位：北京电影学院）

当前国产电影2D转3D技术的问题与对策

李 侃 马同斌

（作者单位：北京电影学院）

与传统的2D电影不同，转制3D对技术系统的依赖性较高，而这些核心技术还基本掌握在国外先进公司的手中，由于核心技术、关键技术上的原因，已上映的国产3D电影制作不很理想。一些影迷认为，国产3D电影就是“山寨3D”，立体画面缺乏质感，有些3D电影只有十几分钟是3D制作也号称3D电影，甚至“只有字幕是3D”的评论，技术实力的不足损害了我国3D电影的声誉和形象。由此可见，有必要进行2D转3D技术的开发研究，并将其在电影产业界广泛推广，以推动我国3D电影业的健康发展。

2D电影；3D电影；虚拟视点绘制；空洞修复；转换算法

3D电影被纳入中国国家电影产业规划始于2008年，广电总局电影局提出的“尽快发展中国的3D电影与国产设备研发”，标志着国产电影3D技术时代的到来，这主要源于国家从政策指导上提供了有力保证。3D电影的规划与发展作为未来中国电影产业发展的重要一环，必将引领中国现代电影发展的趋势和潮流。目前，市面上具有3D立体拍摄技术的摄影机型号为数不多，且存在价格昂贵、操作不便、成本高、周期长等问题，制约了3D电影的发展；同时，3D电影的内容来源成了制约3D电影发展的主要问题。然而，发展历史长达百年的传统2D电影却有着取之不竭的内容资源，目前来看，美国好莱坞和国内电影制作商都是通过传统2D电影的内容来反哺3D电影。如今，在2D电影和3D电影共存的格局下，通过3D摄影技术续存3D电影内容资源并非一条行之有效的途径，而电影2D转3D技术的开发研究却为当前国产3D电影的发展指引了方向，带来了转机。

1　电影2D转3D技术的主要流程

3D技术是利用人的左右眼角度不同所产生视差经过大脑复现形成3D心理图像。在2D转3D时，所形成的具有视觉差别的图像对，是通过还原人的左右眼的瞳距和视角，而分别生成人的左、右眼图像。2D转3D的技术和方法众多，但无论运用那种软件和方法，2D转3D的流程中存在3个主要环节，即画面元素的分解、深度信息重建和转换的算法。转制流程见图1。

图1　2D转3D的流程

针对电影2D转3D技术进行深度开发，需要根据每一流程阶段的特点进行深度开发、推广。

1.1画面元素分解

首先针对转换的画面进行场景深度分析，主要研究画面信息的构成和场景中元素所占空间比例问题，然后把画面内容按照实际的深度层次划分出来，提高转化过程中的准确性。该阶段的特点是分析、抠像软件的准确性还不足。因此，在该阶段的开发重点包括2个方面。一是建立和完善该阶段的制作流程、细节，加强技术管理过程控制，形成系统的操作手册和经验积累文本；二是不断探索抠像分析软件的自动化操控规律，以提高效率，减少人工劳动，如针对2D转3D中大量的运动模糊和半透明的物体，运动模糊的边缘通过Silhouette的内外边缘的限定加以前后帧的求算得出边缘部分的半透明的图像；利用边缘像素差可以半自动或全自动追踪。

1.2深度信息重建

在2D转3D制作流程中，深度信息重建是立体效果呈现的关键环节，在此环节中深度信息的精度直接影响转换后的立体效果和画面质量。通过软件对画面的光线、运动速度、运动方向和元素运动规律进行跟踪反求摄像机，得到一个真实的三维场景，在跟踪过程中画面的像素信息通过解算转化为立体空间坐标。根据坐标值可以确定画面像素在在立体空间中的具体位置，通过像素矩阵构成空间物体模型。这一阶段主要有2种途径：一是电脑软件生成图像的深度信息，通过分析图像中的运动幅度、明暗关系号景深程度等，计算出最终结果；二是人工分析出图像的深度信息，通过Roto给出每一个图像层深度结果。这2种方式都会出现深度信息不准确的短板，人工得出来的信息会因为人为经验和误识的原因出现许多细微的错误，同样，电脑生成的深度信息，绝少数相对准确，绝大部分都不太准确，这是因为计算机不能完美地识别每一个镜头中的前后关系。这2种方式各有优势，因此，电影2D转3D技术需要从这2个方面努力，一方面为人工填充的方法积累相关的知识库，建立科学的工作流程，以此来减少人为的经验不足问题；另一方面，要根据不同的场景开发更具针对性的信息重建参数和方法，提高软件系统的准确度，保证画面质量和立体效果。

1.3转换算法

转换算法是通过图层偏移或差值信息输入得到的新的右眼图像，基本方式是运用深度图信息对母图像进行子图像的重新建构。转换算法对于转换质量和工作效率有着直接的影响。这种方式转换出来的3D视频，被许多人称为“伪3D”，但遭到了质疑。然而，随着研究者对3D影像的深入研究，人们发现即使是3D摄影机拍摄出来的影像，也同样存在这样的问题。但是，如果在质量和流程监管严格的情况下，转换算法得出的3D影像甚至比3D摄影机拍摄的影响还要准确。因此，像卢卡斯和卡梅隆这样的好莱坞大导在重新评估了2D转3D的影像质量之后，采纳了这种转换方式，并坚信这种方式能够制作出完美的3D影像体验。尽管如此，也应该正视转换算法在重建子图像过程中的不足，这些图像中的部分细节信息是空白的、不存在的，如前后景偏移和差值之后所形成的“空洞”，现在来看，修补这些“空洞”的转换算法很多，但从本质上来假设，根本不存在绝对完美和正确3D影像。因此，在大银幕上观看转换之后的3D影像，即使是各种转换算法修补后的“空洞”，哪怕影像不足再怎么微小，也都会被放大，被发现，被质疑。针对该问题，需要研究不同质量问题下的应对方案，发展更加精确的计算方法，如差值运算法，以减少画面修补的工作量。

上述几点是2D转3D的制作流程中几个至关重要的影像质量把控环节，对2D转3D技术流程和影像质量的严格控制，直接关系到受众对3D立体影像体验的流畅度和舒适度，因此，需要电影技术工作者对每个技术流程的细节进行最严密管控。这既是对影像质量的负责，也是对工作效率的负责；既是对电影技术的负责，也是对电影艺术的负责。当前，迫切需要建立一整套科学而有效的监控标准，对主要流程的各个技术细节进行质量管控，用规范化的工作方式去提高3D影像质量，而不单单只依靠电影科技工作者的自我能力。

2　电影2D转3D技术的核心任务

电影2D转3D技术的核心任务是从已有的2D影像中重建和提取出每一帧所对应的深度图信息，继而完成3D立体影像的渲染。当前，对3D影像进行渲染的主流技术分为2种：第一种是双目立体技术的渲染（Binocular Stereoscopic Rendering，BSR），通过转换算法一帧一帧地重建出立体影像的左右眼图像对，这是一种比较传统的技术渲染方式，目前，在3D电影技术市场上还处于主流；第二种是基于深度图的渲染（Depth Image_Based Rendering，DIBR），在已转换的2D影像的序列上添加了一轨与其对应的深度图信息，并由DIBR处理技术对其进行统一渲染输出，直接显示在终端。DIBR以其高效、兼容和实时的特点与优势，在蓬勃发展的3DTV，以及其他移动终端市场上占据了得天独厚的地位，是未来3D立体影像技术发展的方向。

从电影2D/3D转换的发展研究现状和趋势来看，这项技术主要集中于两大领域：第一种是为已有的经典电影、记录文献资料等提供离线转换工具，因为这些影像资料3D转制并不要求即时处理，可以利用充足的时间采纳运算量大且影像效果佳的转换方式，这种方式能为人类保存更多更珍贵的电影历史影像资料，但需要大量的人工进行后期的渲染、处理；第二种是为电子消费市场开发和应用的实时转换工具，目前，市场上已存有3D内容资源十分匮乏，投机的厂商从电影2D转3D中发现了无限的商机，通过将这种转换技术配置在3D电子产品中，既提供了内容，同时也降低了成本。然而，这种转换技术要求更高些，需要平衡转换效率和最终效果，这也是该技术的难点突破。当前，3D电子市场上具备2D转3D功能包括两大类：一种是3DTV，如人们所熟知的三星C7000系列、索尼Nx810系列、东芝ZFl系列和夏普LV系列等；另一种是3D移动终端，如三星的SCH系列和夏普的SH系列。这些3D电子产品只需要按下一个键，就可以实时观看具有立体感的影像。

由此可以预料到，如果电影2D转3D技术得到普及，那么对于所有的当下的或历史的影视内容资源，都可以进行随时欣赏，很好地解决了3D技术的快速发展而内容资源严重不足的尴尬局面。但当前3D电子产品的转换效果还不尽如人意，国产电影2D转3D技术还有很长一段路要走。

3　电影2D转3D技术的关键研发

近年来，虽然电影技术工作者对2D转3D技术进行了研究和开发，并取得了一定成果，但3D影像效果还是不能令观众满意。目前来看，电影2D转3D技术研发的瓶颈主要包括以下3个方面。一是在转换过程中，已有的单轨的2D视频的影像质量不佳，导致深度图信息的空白，深度图信息转换难度大；二是2D影像的摄影机参数无从得知，只能凭借感觉和经验进行虚拟绘制，绘制出来的深度信息严重偏差，且出现影像的错误点；三是修复影像空洞的难度很大，这些空洞区域分布广泛，并且大小不一，形状各异。因此，针对目前电影2D转3D的技术现状与趋势，应基于深度图信息的生成、虚拟视点的绘制以及图像空洞的修复3个方面进行研发，最终开发出智能2D转3D视频系统推广市场应用。

3.1基于运动估计（Motion-Based）的深度图生成

按照人眼的视觉特性经验来看，一般来说，在一个视域内，如果两个物体同时运动，那么离人眼越近的物体，运动幅度更大；反之，离人眼越远的物体，运动幅度越小。这就是通常所说的“近大远小”的视觉原理。常见的2D影像场景中，大部分都是由运动的前景和静止的后景构成，根据以上原理，可以采用基于运动估计的转换方法，获得影像场景中的运动信息，通过分离出运动的物体与静止的物体，推测出其深度图的远近关系信息。

依据以上原理，基于运动估计（Motion-Based）的深度图生成技术研发，成为当前国产电影2D转3D技术研发的重要方向。按照运动估计等得到场景图像中的运动信息，再通过其与深度的对应关系，将其转化成深度图信息。在此基础上，进行颜色和滤波的校正和处理，得出最终的深度图。因为深度图的质量效果直接关系到空洞影像修复的效果，所以，深入研究基于运动估计的深度图转换方法，将有助于改善最终合成3D立体影像的效果和质量。

3.2基于深度的虚拟视点绘制

虚拟视点绘制指由单个和多个不同视角所看到的影像来绘制某一视点的虚拟视点影像，要包括基于模型的虚拟视点绘制（MBR）和基于图像的虚拟视点绘制（IBR）。基于模型的虚拟视点绘制需要建立精准的3D模型，计算量大且不易实现。基于图像的虚拟视点绘制可以实时快速的绘制出虚拟视点影像，特别是基于深度图的虚拟视点绘制，速度快，影像质量高，这就避开了3D建立模型的复杂工序，业已成为虚拟视点绘制的主流。

研发简化的虚拟视点绘制技术是一个电影2D转3D技术的重要方向。建立和开发三维坐标的深度图投影信息数据库，根据实际情况，简化和改造DIBR的原有技术，通过开发速度快、计算量小的虚拟视点的深度图绘制，提升电影2D转3D技术的立体影像的质量和效果。

3.3空洞修复技术

由虚拟视点绘制的合成影像，或多或少地存在着大小不一的空白领域，这就是人们平常所说的“空洞”。这些“空洞”的是由于场景中物体的遮挡产生的，合成后的虚拟视点绘制的影像无法从原有的2D影像的视点中找到相对应的信息来填充。这些“空洞”的影像区域位置不定、大小不一，形状各异，给影像的修复工作带来了很大的难度。一旦这些空洞点信息永久性丢失，只能通过相邻领域进行金丝估计修复。

目前，针对该问题，主要基于Criminisi算法进行图像修复。该技术是基于偏微分方程结合图像修复技术与纹理合成技术来进行图像的空洞修复的，改进了以前通过画面分解进行结构和纹理的重复修复，这种技术通过寻找最优化的影像空洞填充方式，不仅提升了3D合成立体影像质量，还大大地提升了工作效率。目前，该技术主要包括计算空洞边缘像素的优先级、修复优先级最高像素区域、更新置信度和空洞区域。Criminisi算法通常用于普通图像修复，并没有特别针对2D转3D领域，但其思路方法可以用于电影的2D转3D技术。因此，应该研发一种改进Criminisi算法的技术，来应用于转换技术过程中虚拟视点空洞的修复工作，结合2D转3D技术的市场实际情况，开发出最优化的3D电子产品。

4　结语

3D电影已经逐步成为了电影行业的潮流，2D转3D技术能够有效应对3D电影的片源不足问题、成本高问题、拍摄难问题，是3D电影发展的不可或缺的制作方式之一，得到了国家宏观政策的大力支持。但目前，我国2D转3D的技术水平不足，专业人才资源缺乏严重影响了这一领域的发展，制作质量和3D效果较差，被影迷们称为“伪3D”。因此，需要通过打造电影2D转3D的技术推广平台，为2D转3D领域提供可借鉴的前沿技术，培育专业技术人才。因此，应该对电影2D转3D技术流程进行深入分析，总结其技术改进方案和有效的管控模式，贴近电影制作实践，切实为我国电影的2D转3D制作方式提供有效的技术实施建议和管理提升方案。