立体视频技术的发展现状综述

鲁业频，李素平

（巢湖学院 电子工程系，安徽 合肥 238000）

电视是在电影基础上产生，处理“光电-电光”的关系，实质是解决人眼与显示的问题，以满足人们对客观世界极大程度获取视觉信息的精神需求。然而，立体电视除了能给人提供传统二维电视的上下、左右视觉信息外，还能提供“景深”的更大信息量，更具视觉冲击力和临场感，是正在普及的数字电视的新发展，也驱使世界范围内的业界包括学界投入空前的力量给予关注。

1 立体视觉与立体视频采集

人们通过左右眼观看同样的对象，由于人眼双瞳间距一般在6～6.7 cm之间，使得两眼观看同一视点的角度不同而产生视觉差异，即两路不同的光信号在视网膜上形成两个不同的视像，经过大脑综合即可区分物体的前后远近，产生立体感。因此，所谓3D就是视差产生的左右位移。立体电视与立体电影都是利用“视差构成立体”的视觉原理，但在成像机制上，却是两个不同的系统。实践证明，当双眼视线夹角在12°左右时，观看到物体的表面最多，立体感最强。因此，为了满足人眼的立体视觉需要，从拍摄到显示的整个环节，都是围绕如何处理两路光信号或两路视频信号，而在采集立体视频即解决光电问题时，需要根据被拍物体与镜头之间的距离来调节两个摄像机距离，使两路信号夹角接近12°左右。目前市场上产生立体视频效果的主要方式有：立体拍摄、3D动画、2D到3D转换。它们的特点如表1所示。

表1 立体视频效果的主要方式

立体拍摄主要方式有：双机或多机同步拍摄（多视点视频）、单机位移拍摄（单视点视频结合单视点深度）、使用专用（双镜头即双目立体视频）立体相机、普通单反（数码）相机配合专用立体镜头、以及深度影像置换拍摄技术等。应用较多的是采用单机水平双镜头专用立体相机，即模仿人的左右眼来获得最基本的立体视频。前不久索尼公司公布的单镜头3D摄像，仍然使用两个CMOS图像传感器，分别记录左右两幅图像，然后合成3D影像。在拍摄方式上，由多个摄像机从不同角度拍摄得到的多视点视频，能够使用户自由选择位置观看不同角度的场景，是拍摄3D的发展方向，但鉴于采集的数据特性复杂且数据量巨大，实时压缩处理技术尚不成熟，目前以相对成熟的单机双镜头的立体摄像机为主。

现已证明，同一空间视点在两镜头成像的图像平面中的投影位置差矢量为

式中：l为两摄像镜头的投影中心连线距离；f为镜头焦距；z为影像深度。可见，视差与深度成反比，即物体离双眼越远，视差位移越大，其双眼张角（亦称辐辏角）越大；影像深度越大，立体感越强，视差矢量蕴含深度信息。但客观上深度与影像视点的最终呈现，与眼睛距离、舒适度有关。市场上，韩、日两国的立体摄像机最多，技术上领先于国际水平，产品也相对成熟，如东芝、JVC、松下、索尼、三星等品牌。

2 立体视频编码与传输

2.1 关于编码及其核心算法

平面电视仅需一路视频信号编码，而立体电视为了满足视差的需要，至少需两路视频流的同时编码。其共同点是通过编码压缩去掉时间冗余、空间冗余和心里视觉冗余，但由于立体视频传输需要的资源至少是单通道平面电视的2倍以上，所以压缩编码是立体电视实现的关键，而运动和视差估计过程又是立体视频编码中的核心。目前流行如表2所示的3类压缩编码方法。

表2 目前立体视频压缩主要方式

基于多视点的编码是立体电视发展方向，但目前基于视差估计和补偿的立体编码是主流，其编码的基本思路是：对左路视频进行传统数字视频压缩编码，即同一视点间进行运动估计即MCP技术（不参考其他视点的信息），而右路视频既要进行帧内的MCP，还要进行相邻视点间预测编码，参考左视点进行编码，即进行相邻视点间的视差估计，也即DCP预测技术。显然视差估计越精确，残差图像就越小，压缩比就越大。

须指出的是，不同的立体视频采集方式，其压缩编码算法路线不同（与平面视频编码区别）。目前普遍采用平行摄像系统，该系统中的空间一点在左右图像平面中的投影一般具有相同的y坐标，设其对应的两个图像点亮度相同，则可认为视差匹配搜索主要集中在水平方向，从而加快匹配搜索过程。鉴于立体视频的左右视点是由两台间隔非常近的摄像机同时拍摄同一场景得到，因此左右视点的内容具有天然的高度相关性，考虑到立体几何极线约束，场景中某一视点在左右图像中的点必定位于对应的偏振线上，那么进行DCP搜索时只需沿水平方向进行搜索即可，即透视投影左图像可认为是右图像沿水平负向的局部平移。可见，相邻视点间的视差估计是立体视频编码的关键，客观上DCP估计要比MCP复杂得多，目前常用的视差估计有图像特征点法和块匹配算法，此外，编码的原则要兼顾效率、容错性能和时延等方面的需求，已有的立体视频编码效率有待进一步提高。因此在不降低图像编码质量的同时，寻求高效的立体视频压缩编码是当今视频研究的迫切课题，以解决编码质量与效率之间的矛盾。可以充分结合视差域和运动域的信息互为利用的关系，即运动和视差联合估计快速算法，以彻底改变JWVM软件中将运动和视差估计分为2个独立步骤进行搜索的现状，文献[1]在这一方面做了很有价值的研究，该文所提出的迭代搜索策略利用运动/视差模型不断更新运动/视差矢量候选值，有效避免了陷入局部极小值的情况发生。实验结果证明，该算法在保证失真率性能基本不变的前提下，降低了96%的运算复杂度，有效节省了编码时间。而在立体视频编码中，运动和视差估计过程大约占编码时间的90%。

多视点视频编码MVC目前也取得长足进展，特别是在保证编码质量的前提下降低计算复杂度方面，基本思路是借鉴单视点视频编码的快速运动估计算法，同时考虑相邻视点的视频源于同一场景，视点之间编码信息存在相关性，即同时考虑运动矢量视点间相关性和空间相关性，可以用来进一步优化运动估计，降低计算复杂度[2-4]。MVC已经作为H.264/AVC的扩展方案，且JVT也提出JMVM软件测试平台JMVC4.0[5]。至于立体视频编码的核心算法，则采用先进的压缩编码算法，如小波变换或冗余离散小波变换[6]、分形视频编码[7]以及神经网络编码如利用多级神经分类器快速确定预测模式[8]等。先进的编码算法能更有效地提高压缩比，更适合多视点视频编码。如分形编码可以达到千倍以上的压缩，且编码时间更短。

在立体视频编解码标准方面，国际上已经推出H.264标准或MPEG4标准。H.264/AVC编码框架设计是目前单视点3D、多视点3D编码的主流。我国具有自主知识产权的第二代信源编码标准AVS2定义了立体视频编解码的标准，支持深度编码、场景编码等新的立体视频表示方法，并已介入ISO/IEC MPEG的高效视频编码标准的制定。在国内许多地方试验效果不错，如在深圳、广州、山东齐鲁、北京大学等地，其AVS 3D频道占用10 Mbit/s带宽资源，一般采用所谓“云电视高清机顶盒”接收。

2.2 立体视频传输

在带宽受限的差错信道中，如何更具稳健性地传输立体视频，是当前立体视频传输技术中的重要课题。包括视频流传输协议、容错编码、差错控制、信源信道联合编码等。理论与实验证明，在立体视频传输过程中，利用颜色视频和深度视频相关性，对颜色视频和深度视频数据包分配不同的容错码率[9]，即采取不等的保护水平，能更有效地节约冗余码率，或者左路视频帧比右路视频帧赋予更高的保护级别，可获得较好的3D视频质量。此外，结合视频质量主要取决于质量较高的图像视点的视觉特性[10]，利用后向错误隐藏技术，如利用二维视频或颜色视频与深度图像之间的强相关性，或者利用空间相关性及左右视点间视差信息相关性，即时空域混合的错误隐藏技术，最终可获得满意的3D视频效果。

立体视频传输方式主要有：传输独立的左右眼信号、传输时间交错的立体信号、传输空间交错的立体信号和传输二维+元数据信号。其中传输空间交错的立体信号在目前应用最多，且以左右格式（Side by Side）和上下格式（Up Down）在立体电视领域应用中最为广泛，而“隔行”方式和“棋盘”方式应用较少。左右格式和上下格式的传输方式，实质均为被动式立体信号传输的排列方式，将一帧图像在水平方向或垂直方向一分为二，前者在屏幕的左右两边分别显示要看的视频，后者在屏幕的上下半边显示左右眼要看的视频，其特点是降低水平分辨力或垂直分辨力，导致清晰度下降。

我国2012年元旦通过中星6A卫星开通的3D电视测试频道（下行频率、极化方式和符号率分别为：3 968，H，11 580），采用的就是SBS传输模式，需要1 920×1 080高清机顶盒及3D电视机进行接收。目前大多数国家3D广播均采用SBS模式，这种“左右”方式几乎成为目前传输3D视频的事实标准。

3 立体显示

立体显示是最终环节，解决电与光的问题，即如何产生两路光信号作用于左右眼，以形成视差使其综合为立体视觉图像。产生立体显示的效果，需利用人眼的视差特性，使一对视差（电）信号的两幅图像同时出现在屏幕上，或者将一对视差（电）信号的两幅图像先后轮流地出现在屏幕上，从而获得立体感。目前分为眼镜式和自由式两类，其中眼镜式主要分为主动式和被动式两种。

3.1 眼镜式

在眼镜式立体显示中，从被动色差式到偏光技术，再到主动快门式技术，由于被动色差式立体效果差且偏色，几乎被淘汰，目前市场上主要以偏光技术和主动快门式技术为主，它们的主要异同如表3所示。

表3 偏光与主动快门显示特点

综合各方面的技术看，目前眼镜式立体电视会持续较长时间，且以通用眼镜式的多视点显示器研发为重点。在我国目前的市场上，3D电视机如LG、松下、康佳、海信、长虹、TCL、联想、先锋等品牌，以被动偏光式占有率最大，刷新频率至少240 Hz以上的主动快门式也不少，如长虹、TCL、海尔、海信等品牌。在显示器类型上，以LCD，LED液晶显示器为主，尽管PDP显示屏闪频高，但其寿命不及前者，只是在3D超大屏幕显示中有些应用。

3.2 自由式立体显示

自由式显示首先经软件处理，把视频处理成恰当的格式，然后通过硬件手段，将左右眼视频分别折射到各自的区域，人们站在一些特定的区域，即可获得两路视差光信号，从而看到立体视频。毋庸置疑，较戴眼镜看立体视频，自由式即裸眼立体显示必将是立体电视的发展方向，目前自由式立体显示[11]的形式与特点如表4所示。

表4 自由式立体显示的形式与特点

采用柱状透镜技术的3D电视，在目前自由式立体显示器中占多数，市场上的品牌有东芝、飞利浦、TCL、三星等。但柱状透镜技术的3D显示器，在呈现传统2D图像时有一些较小的失真。研究表明，从眼镜式立体到光栅式（多视点）立体电视，再到全息立体电视的发展过程，全息3D是真正的立体，是立体电视发展的最高境界，全息术可以实现“分身术”的视觉效果，目前系统在实时更新速度、稳定性及成本上需要突破。随着科技的飞速发展，很难说，2022年世界杯足球赛不采用全息技术实况转播与收视。

4 立体视频测试

MPEG于2011年4月面向全球各大科研院所发布了国际三维视频标准提案，以期尽快征集完善三维（多视点）视频编码技术的实现方案[12]。而目前支持立体显示的视频种类繁多，没有统一的国际标准，但在经济上和技术上有一定实力的国家，更是全力推出相关的技术或标准，我国在立体显示技术方面，正在制定适合国情的显示及测试标准，立体显示技术直接影响3D视频的清晰度、视场、深度、亮度均匀性、色度均匀性、对比度、可视角等，其中双眼串扰、可视角、闪烁等方面已得到业界的广泛关注。

5 结束语

立体视频可应用于立体数字电视、立体视频会议、视频监控、远程医疗、远程教育和视频点播等领域，已成为当前视频信号处理领域的研究热点。本文从立体视频的前端开始，经编码传输到接收显示的整个过程，分门别类地就目前业界现状及其热点问题，作了重点梳理与归纳，从中找出结论性的内容，以期同行参考、抉择。

：

[1]邓智玭，贾克斌，陈锐霖，等.立体视频编码中运动和视差联合估计算法的研究[J].中国科学：信息科学，2011，41（10）：1210-1218.

[2]孙懿雯，沈礼权，张兆扬.多视点编码中一种快速的模式选择方法[J].电视技术，2011，35（9）：6-9.

[3]杨中华，戴声奎.新的多视点视频编码优化算法[J].计算机应用，2011（9）：2461-2464.

[4]ISO/IEC JTC1/SC29/WG11.Description of exploration experiments in 3D video coding[R].[S.l.]：ISO/IEC JTCI，2008.

[5]DVB BlueBook A151，Commercial requirements for DVB 3D-TV[S].2010.

[6]祝世平，侯仰拴.快速分形立体视频编码系统的设计[J].光学精密工程，2010（11）：2506-2512.

[7]王翀，赵力，罗琳.AVS快速立体视频编码新方法[J].应用科学学报，2009（1）：29-33.

[8]高韬，刘正光.基于冗余小波变换的立体图像视差估计[J].电视技术，2008，32（4）：23-25.

[9]HEWAGE C T E R，WORRALL S T，DOGAN S，et al.A novel frame concealment method for depth maps using corresponding colour motion vectors[C]//Proc.3DTV Conference:The True Vision-Capture,Transmission and Display of 3D Video.Istanbul：IEEE Press，2008：149-152.

[10]STELMACH L,TAM W J,MEEGAN D,et al.Stereo image quality:effects of mixed spatio-temporal resolution[J].IEEE Trans.Circuits and Systems for Video Technology，2000，10（2）：188-193.

[11]王琼华，王爱红，梁栋，等.裸视3D显示技术概述[J].真空电子技术，2011（5）：1-5.

[12]MPEG N12036，Call for proposals on 3D video coding technology[S].2011.