基于插值算法的立体显示的图像合成与嵌入式实现

杨 兰， 曾祥耀， 邹卫东， 张永爱， 周雄图， 郭太良*

(1. 集美大学 理学院， 福建 厦门 361021； 2. 福州大学 物理与信息工程学院， 福建 福州 350116；3. 厦门市产品质量监督检验院， 福建 厦门 361021)



基于插值算法的立体显示的图像合成与嵌入式实现

杨 兰1， 曾祥耀2,3， 邹卫东1， 张永爱2， 周雄图2， 郭太良2*

(1. 集美大学 理学院， 福建 厦门 361021； 2. 福州大学 物理与信息工程学院， 福建 福州 350116；3. 厦门市产品质量监督检验院， 福建 厦门 361021)

在多视点自由立体显示中，针对柱透镜光栅参数与显示器像素不匹配造成的串扰问题，提出利用图像插值的合成方法对图像进行缩放处理。以9视点为例，提出缩放比例系数k，实现双线性插值算法的改进。嵌入式样机测试结果表明，该方法能够满足显示器像素宽度与柱透镜参数的完全匹配，串扰度从13.55%降低到1.40%，降低了12.15%，图像分辨率明显提高，立体显示效果更好。

柱透镜光栅； 自由立体显示技术； 插值算法； 嵌入式

1 引 言

自由立体显示技术具有制备工艺简单、成本低、无需佩戴辅助设备(如佩戴液晶眼镜或液晶头盔)等优点，在航空航天、军事、医学、娱乐和广告设计等领域有广泛的应用前景，受到市场的认可与关注[1-2]。早期的柱透镜光栅放置方式为柱状透镜的中心轴与2D液晶面板的像素列互相平行，这样存在两个问题：一是由于在液晶屏制备工艺上两个子像素之间不是无间隙排列，存在黑条矩阵，这个黑色间隙会被柱透镜放大投射到用户眼前，出现黑色图像而非立体图；二是分辨率在水平方向下降为原来的1/n(n为视点个数)，而在竖直方向无损失，造成水平和竖直方向分辨率不平衡[3-4]。随后，按一定角度倾斜放置的柱透镜光栅的设计方案部分解决了这个问题，但是2D液晶显示器的子像素仍然保持竖直排列，故又产生了视点之间图像存在固有串扰等新问题[5]。为此，设计者通常会通过减小左右眼视差或调整柱透镜单元参数来减小串扰，这必然削弱了立体显示的立体感和沉浸感[6-7]。近期图像合成技术在柱透镜立体显示技术研究中取得了一些新进展，但基本上是假定柱透镜单元涵盖的液晶像素数为整数，即柱透镜参数与显示器子像素能完全匹配[8-10]。实际上，市场产品并非理想，存在以下问题：一是倾斜放置柱透镜光栅存在固有串扰[11]，画面有重影，容易使观众产生视觉疲劳、眩晕等不适；二是市场上柱透镜光栅产品常规规格主要有10线、15线、30线、75线等参数指标，3D屏厂家为了减少制作柱透镜光栅模具成本[12]，通常选择线数规格参数与2D液晶屏设计参数相近的柱透镜光栅代替，这种方法容易出现柱透镜光栅与2D液晶屏子像素不匹配的问题，即柱透镜单元涵盖非整数个液晶像素，使立体显示分辨率下降[13]，尤其是对多视点(视点数n≥5)3D显示屏，实际立体显示效果不理想。

本文针对上述问题，从柱透镜光栅3D显示基本原理出发，提出一种新的图像插值处理方法，使多视点柱透镜参数与显示器的子像素参数完全匹配，并通过嵌入式样机数据采集实验证明经改进后的插值算法处理的图像信号能有效降低固有串扰，提高图像分辨率，改善立体显示效果。

2 柱透镜光栅立体显示器的发光原理

柱透镜光栅由众多完全相同的柱透镜平行排列而成。柱透镜光栅器件一面是平面，另一面是周期起伏的圆柱形曲面。柱透镜光栅3D显示屏是将柱透镜光栅与2D显示器精密耦合而成，其作用是利用柱透镜光栅的分光作用使观看者的左右眼看到不同的视差图像，从而产生立体效果[14]。如图1所示，a、b为像素宽度；p、d为柱透镜的节距和厚度；s为柱透镜到液晶屏LCD的距离，约为0.5～0.7 mm，由液晶显示器彩色滤光片到外屏的距离决定；D为最佳观看距离。双眼之间间距为65 mm。基于视差的立体显示技术要求立体信息严格符合成像规律，在立体可视区域内，左眼只能看到左视差图，而右眼只能看到右视差图。若有一定的视区偏差，会由于分光不均产生串扰、重影等现象，使观看者产生不适[15]。

目前，市场上主流产品均采用倾斜放置的光栅代替竖直排列光栅。这样，倾斜的柱透镜单个节距p内必然包含了其他像素点的信息，即柱透镜光栅参数与显示器像素参数不匹配，造成像素间的串扰增大。

3 多视点子像素映射关系

图2表示的是柱透镜光栅与液晶显示器相匹配的结构图，其中pm为柱透镜节距；pn为像素宽度；Xoffset为单个像素点(x,y)到柱状透镜左边缘的水平距离；α为柱透镜与竖直方向的倾斜夹角，柱透镜的倾斜角度为arctan(1/3)。图中暗色的像素块表示视点序号为1的子像素排列。

理论上，柱透镜光栅的节距应近似等于显示器子像素宽度的整数倍，其排列结构与像素排列结构相似，此时串扰最小。实际上，柱透镜倾斜之后，水平方向柱透镜的节距并不是液晶屏子像素宽度的整数倍，会出现小数，计算视点序号时则需采用四舍五入的近似方法[16]，这样的方法选取局部会存在视点与子像素的不匹配现象。举例说明：若采用分辨率为1 680×1 050的液晶显示器，视点数为9，计算可得像素的宽度为0.281 9 mm。倾斜后，柱透镜在水平的节距为2.607 58 mm，水平方向可以容纳的视点数为9.25个，大于设计视点数9个。由于视点序号必须为整数，随着视点序号排列的均匀递增，像素的偏移距离也会累积，对于非整数的像素偏移距离如果采取四舍五入的方法，对整个屏幕而言，易产生视点错位。本文解决这个问题的办法是采用插值方法调整像素，即每隔一个周期增加或减少一个子像素[17-18]。如图3所示，图3(a)为未插值的视点排列图，图3(b)为插值后的视点排列图。从图3(b)可见，透镜1和透镜2的视点序号排列均按递增规律排列。对于透镜3，透镜的边缘与子像素左侧距离超过1/2的子像素宽度，由四舍五入原理，容纳的视点数必须增加1，所以透镜3中在视点1的右侧填充一个与视点1匹配的子像素信息(图3(b)中阴影所示子像素)，才能保证透镜3的右侧边缘(透镜4的左边缘)再次处于视点1的中部，达到视点与柱透镜的匹配相对理想。然而，这种传统的插值方法的缺点是不能保证每个透镜的左边缘都处于视点1的相对位置，优点是在误差累积到一定量的时候，可利用四舍五入的方法周期性调整像素(增加子像素视点或减少子像素视点)，实现柱透镜与像素局部性匹配。图4(a)、(b)是最佳观测位置拍摄的左右眼视差图。左眼视图为视点1的白色单色视图，右眼视图为视点2的黑色单色视图。从整体上看，左眼视图呈全白色，右眼视图呈全黑色，符合柱透镜立体显示的分光原理。这说明传统插值方法对校正柱透镜参数与显示器子像素间的不匹配问题有较大改善，不足之处是每隔一个周期增加一个视点或减少一个视点造成整体图像的不连续， 如图4(a)、(b)所示，柱透镜边缘轮廓呈明显周期性条纹，会影响观看效果。

图3 (a) 未插值的视点排列图；(b) 插值后的视点排列图。

Fig.3 (a) Array pattern of viewpoint without interpolation. (b) Array pattern of viewpoint after interpolation.

Fig.4 (a) Viewpoint of left eye. (b) Viewpoint of right eye.

为了使图像保持整体的连贯性，本文提出一种改进的插值方法，即对每个子像素点均采用插值方法合成。假如原始子像素大小与所需的子像素大小成k倍关系，那么只要将合成好的图片整体放缩成原图的k倍，再通过插值运算合成图像，这样就可以既保证子像素参数与透镜参数的完全匹配，又解决视点之间的不连续性问题。

4 改进的双线性插值法

改进的插值合成运算思路是首先计算2D液晶屏原始子像素大小与柱透镜参数所需的子像素大小的倍数关系k，然后通过双线性插值运算将合成好的图片整体放缩成原图的k倍。其步骤是：首先，必须确定插值的缩放比例k。假设透镜的节距为pm，像素的宽度为pn，透镜的倾斜角度为α，视点数为m，实际子像素宽度为c，可计算出透镜的水平节距为px=pm/cosα。再根据柱透镜立体显示原理，理想情况时柱透镜的节距应为子像素宽度的m倍，所以此时最佳的子像素宽度为cr=px/m。于是将图像的插值缩放比例设为k(k=cr/c,即最佳子像素宽度cr与实际子像素宽度c的比值)。如图5(a)、(b)所示，图5(a)为原始图像，长宽分辨率为m×n；图5(b)为插值合成后的图像，长宽分辨率为km×3kn，保证了插值合成后的子像素保持长宽比为3∶1。此时插值合成后的图像整体比例才与原始图像匹配，符合计算要求。

图5 (a) 原始图像(分辨率m×n)；(b) 插值合成后图像(分辨率km×3kn)。

Fig.5 (a) Original image (resolution:m×n). (b) Interpolated image (resolution:km×3kn).

5 计算待插值像素点

一般情况，对任意一个像素点进行插值，应优先以该像素点周围邻近的4个像素点为参考值。合成图是由m个视差图像构成，选择插值参考点时必须选取属于相同序号的像素点。以9个视点的液晶屏为例，视点序号每经过9个视点循环一次，如图6所示。

图6中较大的虚线框包含9个子像素，若以正中间的子像素G(x,y)为缩放对象，可以得出以下结论：在水平方向，与G(x,y)像素灰度值呈线性关系的两个像素点分别是G(x-9,y)和G(x+9,y)。垂直方向呈线性关系的2个像素点分别为G(x,y+1)和G(x,y-1)。倾斜方向呈线性关系的4个像素点为G(x-9,y+1)、G(x-9,y-1)、G(x+9,y+1)、G(x+9,y-1)。假设像素点G(x*,y*)为点G(x,y)经过缩放后的坐标点，则G(x*,y*)的位置决定了4个插值参考点。

G(x*,y*)位于左上方时：选择G(x,y)、G(x-9,y)、G(x-9,y+1)、G(x,y+1)4个点；

G(x*,y*)位于右上方时：选择G(x,y)、G(x+9,y)、G(x+9,y+1)、G(x,y+1)4个点；

G(x*,y*)位于左下方时：选择G(x,y)、G(x-9,y)、G(x-9,y-1)、G(x,y-1)4个点；

G(x*,y*)位于右下方时：选择G(x,y)、G(x+9,y)、G(x+9,y-1)、G(x,y-1)4个点。

本文利用双线性插值公式对G(x*,y*)进行插值。

双线性插值合成是在两个不同的线性方向分别进行一维线性插值[19]运算。双线性插值方法通常在水平方向进行插值，得到

(1)

然后在竖直方向进行插值，得到

(2)

其中，Q11=(x1,y1)、Q12=(x1,y2)、Q21=(x2,y1)、Q22=(x2,y2)为4个原始像素点，f(x,y)为像素点的灰度值函数。

将公式(1)带入公式(2)可得双线性插值合成公式(3)：

(3)

双线性插值合成的原理如图7所示。

为了插值的方便，本文将R、G、B子像素分开采样进行插值处理。以待插值点G(x*,y*)位于G(x,y)的右上方为例进行分析,待插值点G(x*,y*)应为G(x,y)、G(x+9,y)、G(x+9,y+1)、G(x,y+1)的内插值点。根据双线性插值公式(3)计算可得：

(4)

G(x*,y*)为待求插值像素点灰度值，k为图像整体缩放比例系数，即x=x*/k,y=y*/3k。那么，G(x*,y*)可精确求解。

6 嵌入式样机实验测试

本文基于嵌入式的柱透镜立体显示系统，分别对传统插值合成和改进的图像插值合成方法进行样机测试。嵌入式测试样机由嵌入式核心板、CCD摄像、USB接口、分辨率为1 680×1 050的LCD组成。参数指标是：子像素宽度为0.094 mm，视点数9，柱透镜光栅为聚焦8 mm膜材，线数为31.62线，倾斜角度为arctan(1/3)，光栅节距pm为0.803 28 mm。通过计算可得水平方向容纳的视点数为9.010 6个，大于设计视点数9个，则传统方法采用9个视点子像素合成；而改进的插值合成方法k=1.001 2，将9视点图像插值为9.010 6，用CCD对图像串扰进行测量，最佳观看距离为2.5 m。图8为立体显示样机实拍照片。测量方法如下：视点5输入全白信号，其余视点输入全黑信号，CCD测量左右视图为连续视点，如表1所示，按照表1的测试模板对9个视点的单色图像进行合成。

串扰的计算公式为[20]：

(5)

表1 黑白测试信号

表2 两种合成方法的串扰对比

从表2可见，利用传统双线性插值合成的串扰度为13.55%，串扰相对严重；而利用改进的插值合成方法后，立体图像的串扰度减小到1.40%，两者相差12.15%，串扰几乎消失。可见，改进的插值合成方法在整体上调整每个子像素宽度与透镜参数完全匹配，使立体观看效果明显提升。

图9(a)为传统插值合成的左右眼实拍图，图9(b)为改进插值合成的左右眼实拍图。对比可知，改进后的插值合成实拍图中左眼视图的白色区域面积超过屏幕的90%，接近全白，白光均匀性较好，图像平滑，边缘模糊；右眼视图的白光亮度低，所占面积比例较小，接近全黑，说明左右眼视图串扰显著降低。

图9 传统插值(a)和改进插值(b)合成的左右眼实拍图

Fig.9 Traditional interpolation (a) and improved interpolation (b) disparity charts of eyes

为了更加直观地说明通过改进算法使立体图像串扰降低，我们选取9张图像，第一幅图像为白底黑字的“1”，第二幅图像为黑底白字的“2”，第三幅图像为白底黑字的“3”，第四幅图像为黑底白字的“4”，依此类推。图10(a)为传统的9个视图合成的立体图，图10(b)为改进后的9个视图合成的立体图。

Fig.10 Traditional interpolation(a) and improved interpolation(b) test chart

明显看出改进后插值合成实拍图背景光亮度均匀，齿状细纹不明显，图像平滑，合成图像立体感突出，有更好的立体视觉效果。

图11(a)、(b)分别为传统的和改进的插值合成算法的前4个视点的实拍效果图。

对比图11(a)、(b)可以看出，图11(b)的数字更加清晰，黑色数字“1”、“3”亮度明显降低，数字显得更黑，数字边缘轮廓清晰，锯齿状条纹不明显；黑色数字“1”和“3”下隐藏的白色数字“8”和“4”颜色更暗，几乎显现不出，说明白光串扰明显降低。白色数字“2”、“4”亮度明显增加，显得更白，同样，数字轮廓清晰，锯齿状不明显，其背景显得更黑，黑白分明，说明光的串扰减少。结果证明，改进的插值合成算法处理的图像信号能有效降低图像间串扰，图像纹理更加细腻，光均匀性增强，图像清晰度和立体视觉效果提高。

7 结 论

针对多视点柱透镜自由立体显示器中柱透镜光栅参数与显示器像素不匹配造成的串扰问题，采用计算插值缩放比例k(k=cr/c,即最佳子像素宽度cr与实际子像素宽度c的比值)，提出改进的子像素双线性插值合成方法。对采样后的子像素进行双线性插值合成运算，改进后的插值合成通过调整子像素宽度，使其与柱透镜光栅参数完全匹配。嵌入式立体显示样机实验测试证明，图像串扰度从13.55%减小到1.40%，改进前后相差12.15%，立体图像纹理更加细腻，光均匀性增强，立体显示效果明显提高。

[1] 程雪岷,谈梦泽,郝群,等. 自由立体显示效果测试综述 [J]. 液晶与显示, 2014, 29(5):830-838.

CHENG X M, TAN M Z, HAO Q,etal.. Survey on auto-stereoscopic display measuring system [J].Chin.J.Liq.Cryst.Disp., 2014, 29(5):830-838. (in Chinese)

[2] 闵森林,王元庆. 基于菲涅尔透镜的新型立体显示系统 [J]. 液晶与显示, 2007, 22(3):306-309.

MIN S L, WANG Y Q. New stereoscopic display system based on Fresnel lens [J].Chin.J.Liq.Cryst.Disp., 2007, 22(3):306-309. (in Chinese)

[3] SALMIMAA M, JRVENPT. 3-D自由立体显示的性能表征 [J]. 现代显示, 2009(11):5-8.

[4] LV G J, WANG Q H, WANG J,etal.. Multi-view 3D display with high brightness based on a parallax barrier [J].Chin.Opt.Lett., 2013, 11(12):121101-1-3.

[5] 苏剑邦,梁浩文,陈海域,等. 时空混合控制式自由立体显示系统背光刷新方式优化研究 [J]. 液晶与显示, 2015, 30(5):877-882.

SU J B, LIANG H W, CHEN H Y,etal.. Optimization of backlight scanning on auto-stereoscopic display with spatial and sequential hybrid control [J].Chin.J.Liq.Cryst.Disp., 2015, 30(5):877-882. (in Chinese)

[6] LEE Y G, RA J B. Image distortion correction for lenticula misalignment in three-dimensional lenticular displays [J].Opt.Eng., 2006, 45(1):017007-1-9.

[7] XIE S L, WANG P, SANG X Z,etal.. Depth-tunable three-dimensional display with interactive light field control [J].Opt.Commun., 2016, 371:166-172.

[8] 于瀛洁,蔡明义,张之江. 柱透镜光栅自由立体显示中几何参数间关系分析 [J]. 光电子技术, 2010, 30(1):10-15.

YU Y J, CAI M Y, ZHANG Z J. Analysis for geometric parameter relation of lenticular sheet based autostereoscopic [J].Optoelectron.Technol., 2010, 30(1):10-15. (in Chinese)

[9] 王爱红,李小方,纪宪明. 减小倾斜光栅式自由立体显示串扰的方法 [J]. 河南师范大学学报(自然科学版), 2014, 42(5):56-59.

WANG A H, LI X F, JI X M. A method to reduce the crosstalk in autostereoscopic displays based on slanted parallax barrier or lenticular lens [J].J.HenanNorm.Univ. (Nat.Sci.Ed.), 2014, 42(5):56-59. (in Chinese)

[10] 吴非,王琼华. 基于光栅的一维集成成像立体显示 [J]. 吉林大学学报(工学版), 2013, 43(S1):455-458.

WU F, WANG Q H. One-dimensional integral imaging displays using parallax barrier and lenticular lens array [J].J.JilinUniv. (Eng.Technol.Ed.), 2013, 43(S1):455-458. (in Chinese)

[11] YUN J D, KWAK Y, YANG S. Evaluation of perceptual resolution and crosstalk in stereoscopic displays [J].J.Disp.Technol., 2013, 9(2):106-111.

[12] 黄敏,刘浩学. 立体印刷制作工艺光栅板参数的选择 [J]. 北京印刷学院学报, 2005, 13(1):9-12.

HUANG M, LIU H X. Selecting of the parameters of cylindrical lens sheet imaging in 3D printing [J].J.BeijingInst.GraphicCommun., 2005, 13(1):9-12. (in Chinese)

[13] 韩秋实,侯春萍,吴姗,等. 基于光栅的手机多视点立体显示技术研究 [J]. 光电子·激光, 2012, 23(11):2221-2228.

HAN Q S, HOU C P, WU S,etal.. Grating-based multi-view stereo display technique for mobile phones [J].J.Optoelectron.Laser, 2012, 23(11):2221-2228. (in Chinese)

[14] 杨光磊,井长龙,裴治棋,等. 固态体积式真三维立体显示器 [J]. 液晶与显示, 2015, 30(1):137-142.

YANG G L, JING C L, PEI Z Q,etal.. Solid-state volumetric true 3D display[J].Chin.J.Liq.Cryst.Disp., 2015, 30(1):137-142. (in Chinese)

[15] 李小芳,王琼华,李大海,等. 柱透镜光栅3D显示器的视差范围与立体观看视疲劳的关系 [J]. 光电子·激光, 2012, 23(5):873-877.

LI X F, WANG Q H, LI D H,etal.. Research on relation between the range of binocular parallax and visual fatigue in 3D display based on lenticulation lens [J].J.Optoelectron.Laser, 2012, 23(5):873-877. (in Chinese)

[16] 李小芳,王琼华,李大海,等. 一种消除柱透镜光栅自由立体显示图像串扰的方法 [J]. 四川大学学报(工程科学版), 2011, 43(6):115-118.

LI X F, WANG Q H, LI D H,etal.. A method to eliminate image crosstalk in autostereoscopic display based on lenticular sheet [J].J.SichuanUniv. (Eng.Sci.Ed.), 2011, 43(6):115-118. (in Chinese)

[17] 林志贤,吴美芳,郭太良. 基于傅里叶变换的彩色滤波阵列插值新算法与实验验证 [J]. 光电子·激光, 2013, 24(3):481-486.

LIN Z X, WU M F, GUO T L. A novel algorithm of color filter array interpolation based on Fourier transform and its verification [J].J.Optoelectron.Laser, 2013, 24(3):481-486. (in Chinese)

[18] 龚昌来,杨冬涛. 一种改进的双线性插值图像放大算法 [J]. 激光与红外, 2009, 39(8):899-901.

GONG C L, YANG D T. Improved image zooming algorithm based on bilinear interpolation [J].LaserInfrared, 2009, 39(8):899-901. (in Chinese)

[19] 陈建辉,王博亮,徐中佑,等. 一种自适应最大相关性数字图像插值算法 [J]. 厦门大学学报(自然科学版), 2005, 44(3):355-358.

CHEN J H, WANG B L, XU Z Y,etal.. An adaptive max-relativity interpolation algorithm for digital image [J].J.XiamenUniv. (Nat.Sci.), 2005, 44(3):355-358. (in Chinese)

[20] 沈丽丽,张晶,范科峰,等. 立体显示器质量测试与性能分析研究 [J]. 光子学报, 2013, 42(2):219-223.

SHEN L L, ZHANG J, FAN K F,etal.. Research on quality analysis and measurement of stereoscopic display [J].ActaPhoton.Sinica, 2013, 42(2):219-223. (in Chinese)

杨兰 (1971-)，女，新疆乌鲁木齐人，硕士，副教授，2010年于福州大学获得硕士学位，主要从事光电材料与信息显示技术的研究。

E-mail: tiger0548@sina.com 郭太良(1963-)，男，福建仙游县人，教授，研究员，博士生导师，1986年于福州大学获得硕士学位，主要从事信息显示技术的研究。

E-mail: gtl_fzu@yahoo.com.cn

Image Synthesis and Realization of Embedded 3D Display System Based on Interpretation Algorithm

YANG Lan1, ZENG Xiang-yao2,3, ZOU Wei-dong1, ZHANG Yong-ai2, ZHOU Xiong-tu2, GUO Tai-liang2*

(1.CollegeofScience,JimeiUniversity,Xiamen361021,China; 2.CollegeofPhysicsandInformationEngineering,FuzhouUniversity,Fuzhou350116,China; 3.XiamenProductsQualitySupervision&InspectionInstitute,Xiamen361021,China)

*CorrespondingAuthor,E-mail:gtl_fzu@yahoo.com.cn

In order to solve the problem of crosstalk caused by the mismatch between lenticular lens parameters and monitor pixel in multi-view 3D autostereoscopic display, a new method that could scale the three-dimensional composite image using image interpolation was presented. Taking the 9 viewpoint as an example, the scaling factorkwas proposed, by which the bilinear interpolating scaling was improved. Embedded prototype test results show that the better match between lenticular lens parameters and monitor pixel leads to the better display effect. The crosstalk is reduced from 13.55% to 1.40% and the image resolution is improved effectively.

lenticular lens; auto-stereoscopic display; interpretation algorithm; embedded system

1000-7032(2016)10-1237-08

2016-05-20；

2016-06-24

国家“863”重大专项(2013AA030601)； 福建省科技厅重点项目(2013H0033)； 厦门市科技局项目(3502Z20143024)； 国家教育部场致发射显示技术工程研究中心项目(KF1206)资助

TP368.1

A

10.3788/fgxb20163710.1237