一种3D视频中立体字幕叠加技术

梁 丽，褚晶辉，张小佩，李英敏

(天津大学电视与图像信息研究所，天津300072)

0 引言

随着科技进步和人们对生活品质的不断追求，3D电影已一步步走进我们的生活。与传统二维影视的无深度和临场感的显示技术不同，3D电影给观众带来身临其境的逼真感觉和无与伦比的立体观赏效果。

3D电影的盛行迫切需求3D字幕技术的革新。目前的3D电影往往将字幕直接放置在立体图像的最前面，字幕自始至终浮现在银幕前，并没有考虑立体图像内容的景深变化，观众很难同时看到字幕和内容，眼睛会感到累甚至头昏眼花，没有解决视觉疲劳问题。立体图像强烈的纵深感，是叠加3D字幕时必须考虑的因素。针对上述问题，文献［1］提出了3D字幕与立体图像内容自适应的解决方案，将三维图像做垂直样本线投影将其简化为一个抽象图像对，计算代理深度以确定一个字幕元素的渲染属性。此方法极大的加快了深度的计算，具有实时性，但由于丢失了大量信息而不可避免地降低可靠性。本文经过实验，提出了3D字幕视差与立体图像景深的对应关系，基于立体视觉的双目视差原理叠加3D字幕，一定程度上缓解了观看时的视觉疲劳问题，可实现更好的观看效果。

1 立体视觉

人类的立体视觉由心理立体视觉与生理立体视觉组成［2］。双眼视差［3］是人眼最强烈的生理立体视觉因素。Julesz利用随机点图已经证明，在排除一切心理立体视觉之后，一组完全无异议的视觉刺激，只要具备视差条件，就能经双眼产生深度上的感觉［4］。双目视差反映了客观景物的深度信息。具有视差的双眼视图经视觉皮层融合，产生立体感。若能为左右眼提供同一场景的立体图像对，并采用光学或其他技术措施，使观看者的左右眼分别只能看见对应的左右眼视图，则观看者就能感知到立体图像。在影响生理立体视觉与心理立体视觉的诸多因素中，与立体图像有直接关系的只有双目视差。即，影响人眼立体视觉的外界因素主要是立体图像中的双目视差信息。

立体图像固然生动形象，但由于当前技术条件限制观看时会产生视觉疲劳问题，其主要原因是双目会聚与焦点调节不一致［5］。现实世界中会聚与焦点调节是一致的，然而在观看立体图像时，若视差大小在融合范围［6］内，调节和会聚距离虽然不一致，但是仍可以把左右眼视差图像融合成一幅立体图像，观看者在立体屏幕上看到的是一幅具有纵深感的立体图像;若视差的大小在融合范围之外，观看者则无法将左右眼两幅视差图像融合成一幅立体图像，观看者看到的是一幅不清晰的串扰图像，从而产生严重的视觉疲劳。

2 立体字幕叠加

综合影响立体视觉的诸多因素，在立体图像中叠加3D字幕主要依据立体图像中的双目视差信息。而3D字幕的视差必须在融合范围内，不可为了追求超强立体感而过度加大视差。人眼的视觉特性决定了人眼在某一时刻只能会聚在立体图像的某一个点上。在观看立体视频时，人眼自然跟随立体图像内容而运动。为了同时且舒适的看到3D字幕和立体图像，3D字幕的感知深度需与立体图像内容的深度保持一致。

3D字幕不能对立体图像的内容造成干扰，才能使叠加3D字幕的立体图像给人以自然的立体感。研究发现［7］:3D字幕位置稍微比立体图像内容的感知深度离观众近些，可提供最佳的观赏体验。假设字幕与图像深度相同时，观众既看字幕又看立体图像，需不断地在字幕与内容之间转换焦点，容易分散注意力;而字幕在立体图像后面就更不舒服了，观众很难看到字幕。

其次，字幕的大小应足够大，颜色容易观看。视差的大小体现了再现立体深度大小，字幕在场景中的深度随着立体图像内容的深度变化而不断变化。为了让观众感觉字幕没有明显的改变，字幕的大小要随着视差的大小而调整。同时字体的其他属性，如字体的类型、颜色、亮度等，也需跟随立体图像内容做自适应调整，以减少遮挡，增强观赏体验。

针对上述问题，本文提出3D字幕视差与立体图像景深的对应关系——字幕的视差由立体图像内容的视差决定。基于立体视觉的双目视差原理将具有视差的字幕叠加在立体图像对上，3D字幕视差相对于立体图像内容视差适当加大，字幕字体的属性随立体图像内容自适应调整。该方法在立体图像上叠加了人眼感觉舒适的3D字幕，一定程度上缓解了观看时的视觉疲劳问题。

3 程序设计

3D字幕的叠加是基于立体视觉中的双目视差原理，3D字幕的视差由立体图像内容的视差决定。采用改进的基于区域增长的立体匹配算法提取立体图像的视差信息。在立体图像对的左右眼视图上用OpenGL叠加具有视差的字幕，由视差的大小调整字幕的大小、颜色等属性。

3.1 程序设计流程

选取立体图像，分离出左右眼视图，为立体匹配提供只有水平视差的原始图像。采用改进的基于区域增长的立体匹配算法对左右视图进行处理，得到较为准确的视差图。将视差结果应用于OpenGL字幕叠加，并根据视差值的大小调整字体的类型、大小、颜色、亮度等属性。最后将叠加字幕后的立体图像对立体显示，使观众看到的3D字幕舒服流畅。

程序共分3步:1)立体匹配计算视差;2)取字幕区域视差，OpenGL叠加3D字幕;3)立体显示。程序设计详细流程图见图1。

图1 程序设计流程图

3.2 视差计算

立体匹配是指根据对所选特征的计算，建立特征间的对应关系，从而建立同一个空间物理点在不同图像中的像点之间的关系，并由此得到相应的视差图［8］。本文以文献［9］的基于区域增长的立体匹配算法为基础，引入对极几何约束、松弛迭代法、中值滤波等方法对匹配点进行优化，得到更精确的立体图像点对和视差图。由于立体图像对仅在水平方向有视差，为了降低算法的复杂度，只考虑水平方向的区域增长。该算法的基本思想:选取种子点并对其进行匹配，在种子点基础上根据区域增长策略找出所有的匹配点对。即，一旦找到一个准确可靠的匹配点对，就可以根据它们之间的相对位置关系将匹配迅速传播至整个图像区域。其优点在于利用连续性约束极大地提高了匹配的效率，并且消除了重复图案间大的匹配误差［10］。

算法的具体操作过程。第一步，种子点的选择。能量函数计算视差，若选择点视差的误差能量小于等于预设的阈值，则认定其为种子点，进行下一步;否则认为其为无用点，继续查找。为了找到准确、可靠的种子点，利用对极几何约束对种子点进行优化。第二步，区域生长的过程。由种子点的视差计算其相邻点视差的误差能量，若其值小于等于预设的阈值，则认定其为增长区域;否则返回第一步寻找新的种子点。最后用松弛迭代法去除误匹配点，邻域均值滤波和中值滤波去噪，降低噪声的干扰，增加视差的可靠性。其中误差能量公式为

由上述改进的区域增长算法计算得到的视差图较理想，算法准确且复杂度不高。在视差图上选定字幕区域，提取字幕区域的视差最大值作为字幕的视差值。用OpenGL在左右视图上叠加具有此视差值的字幕。

3.3 OpenGL叠加字幕

字幕区域的选择需要大量的实验测试和主观评价，以找到令人感觉最舒适的位置。本文依据大众的观看习惯将字幕区域选定在显示屏幕的底部，同时为了减小遮挡问题，根据图像内容的空白区域作适当调整。

选定字幕区域，采用OpenGL中文字体的绘制位图方法叠加字幕［11］。将左眼视图以原比例大小作为场景的背景显示，在场景上创建具有一定属性的字体，用GDI方式将文字形成单色位图，并在字幕区域调用OpenGL绘制位图函数glBitmap()便可清楚地将文字显示出来。该方法简单可行，右眼视图叠加字幕时只需将字幕水平坐标向右平移视差值。应用OpenGL可方便、快速地更换文字内容、字体属性及文字的位置等。随着视差的变化，字幕字体的大小随之改变，以便观看效果清晰流畅。字体的其他属性也需跟随立体内容改变而调整，以减少遮挡，增强观赏性。

最后，视图与字幕一起保存为原视图大小的BMP图，将叠加了字幕的立体图像对立体显示即可看到具有深度感的3D字幕。

4 实验结果

利用Red Star Studio Ltd.的Benjamin Smith制作的立体视频［12］，将其分离出左右眼视图，应用本文的程序对左右眼视图进行处理，运行结果在显示器上显示。使用的观看设备是NVIDIA GeForce 3D立体眼镜与Samsung SyncMaster 2233RZ显示器，显示器的分辨力为1 680×1 050，刷新率为120 Hz。

图2～4是不同方法实现的3D字幕叠加红蓝效果图。目前3D电影将字幕直接放置在立体图像前面，没有考虑立体图像内容的景深情况，结果如图2所示。图3为“Sizzle”视频中使用Poliscript 3DITOR字幕制作软件，将3D字幕放置在银幕的顶端图［13］。一般图像顶端场景深度感不明显，3D字幕视差小甚至无视差，容易叠加。相对图3有一定改进，但是观众观看时会感觉不习惯。图4是本文提出的方法实现的3D字幕叠加。通过对比不同方法的实验结果发现，本文方法实现的3D字幕叠加效果更加舒适流畅，符合大众的观看习惯。

图2 普通字幕效果图

图3 顶端字幕效果图

图4 本文3D字幕显示效果图

根据实验结果可以得出以下结论:立体字幕放置位置是基于立体图像内容的。立体显示的再现立体深度与视差图的视差大小有关，字幕的视差由立体图像内容的深度决定，并且随着立体图像序列内容的深度改变而改变。为了获得最佳的观赏效果，需对字幕视差进行微调，使3D字幕的位置比立体图像内容稍微靠前一些。

5 结论

可将立体图像上的3D字幕显示在一个令人感觉舒服、可接受的深度位置的3D字幕叠加系统是很有实用价值的。本文从人眼的视觉特性出发，分析了影响立体视觉的感知深度因素，运用3D字幕视差与立体图像景深的对应关系，基于双目立体视觉原理将具有视差的字幕叠加在立体图像对上，实现了基于三维图像内容深度叠加3D字幕的系统，缓解了观看时的视觉疲劳问题，使观众同时舒适地观看立体图像和3D字幕。

［1］ BERIC T.Methods and systems for presenting three dimensional motion pictures with content adaptive information:US，WO2010/064118［P］.2010-06-10.

［2］杨嘉琛，侯春萍，雷建军.基于人眼视觉特征的立体图像质量客观评价方法［J］. 天津大学学报，2009，42(7):622-627.

［3］ OKOSHI T.Three dimensional imaging techniques［M］.New York:Academic Press，1976.

［4］JULESZ B.Binocular depth perception of computer generated pattens［J］.Bell System Technical Journal，1960，39(5):1125-1162.

［5］王爱红，王琼华.光栅式自由立体显示器概述［J］.现代显示，2009(10):14-17.

［6］荆其诚.人类的视觉［M］.北京:科学出版社，1987:124-126.

［7］ CLAYDON L J，GARDNER J FD，CORNE R，et al.Systems，apparatus and methods for subtitling for stereoscopic content:US，2010/0220175［P］.2010-09-02.

［8］章毓晋.图像工程［M］.北京:清华大学出版社，2007.

［9］ ALAGOZ B B.Obtaining depth maps from color images by region based stereo matching algorithms［J］.OncuBilim Algorithm and Systems Labs，2008，8(4):1-13.

［10］唐丽.基于区域增长的立体像对稠密匹配算法［J］.计算机学报，2004，27(7):936-943.

［11］徐明亮，卢红星，王琬.OpenGL游戏编程［M］.北京:机械工业出社，2008:126-132.

［12］ Knight’s quest 3D［EB/OL］.［2011-04-21］.http://www.nvidia.cn/object/3d-vision-3d-movies-cn.html.

［13］ Sizzle 3D stereoscopic video with proper 3D subtitles overlayed［EB/OL］.［2011-04-21］.http://3dvision-blog.com/sizzle-3d-stereoscopic-video-with-proper-3d-subtitles-overlayed/.