基于双目视觉的增强现实模型系统设计*

陈春妃，陈琼，汤勇明

（1.东南大学电子科学与工程学院，南京211189；2.东南大学电气工程学院，南京211189）

基于双目视觉的增强现实模型系统设计*

陈春妃1，陈琼2，汤勇明*

（1.东南大学电子科学与工程学院，南京211189；2.东南大学电气工程学院，南京211189）

该模型的研究是为了改善目前单目增强现实设备存在着视场小、成像不逼真、单目观察、适应人群窄等问题。模型系统选用高分辨率、宽色域、高集成度2 mm×17 mm OLED微显示器作为成像像源，大尺寸BS棱镜和凹面镜作为成像元件，合理控制图像放大倍率，提高视场；该系统可以实现高清晰稳定的单目及双目增强现实成像效果，具有多维的可调节度，包括调节放大倍数在1～∞内精确微调、眼距和双目图像合成角度等。

图像处理模型；双目增强现实；双目图像融合；OLED微显示像源；多维调节

增强现实技术是一种利用计算机系统产生的三维信息来增加用户对现实世界事物的感知的技术［1］。基于视觉的增强现实是借助于三维显示［2］、摄像机标定［3］，计算机视觉技术［4］以及多媒体技术，将虚拟的场景叠加到用户眼前真实视野中。

Google Glass［5］的出现开启了小型可穿戴增强现实设备的新纪元。但Google Glass单目增强现实系统的缺点催生了关于增强现实技术和双目成像技术的结合研究。

基于双目视觉的模型的研究在于设计一套具有大视场、多参数可调节、高亮度高清晰度显示预定图像的双目增强现实实验设备。双目成像是基于双眼视差［6］，通过两套独立的图像源系统来产生视差图像源，再通过特定光学系统进行图像融合处理。模型设计的创新点难点就在于光学系统的设计。

1　系统模型介绍

单目增强现实系统仅是将单一图像源通过单个光路处理系统将图像呈现在观察眼的一侧。双目增强现实系统的实现方法有多种［7-8］，本文主要选择的是将两套独立的单目成像系统组合校准，即采用双像源双目镜显示方式，既提高了系统的稳定性，符合人眼视觉习惯，又可以方便调试。整体系统图如图1所示。

图1　整体系统图

在这整套系统中左右眼两套系统的参数、结构完全一致，以一套单目增强现实系统模型为例来说明增强现实系统结构原理，具体如图2所示。

图2　单目系统结构图

光源模块采用的是高亮度高分辨率尺寸为2 mm×17 mm的OLED像源，由计算机预先设定图像。

光路处理模块核心光学元件为BS半透射半反射分光棱镜、凹面镜，用于控制光路走向，形成有效虚像。

调节模块内部主要有凹面镜，外部主要是支架外观设计。通过改变凹面镜与BS之间的距离来调节虚像放大倍数。通过支架镜筒的旋钮以及套筒结构设计可以实现眼距、高度、角度的灵活调节。

2　基于OLED微像源模型设计

目前市场上可供选择的显示像源有很多种，LED，LCOS，OLED等等。不同的像源都存在各自不可替代的优点，在本套系统中，我们的最终目的是实现大视野、高亮度、高清晰度、易集成的双目增强现实系统实验模型，基于以上参数需求，OLED［9］成为我们最佳选择。

2.1OLED微显示像源的选择论证

OLED属于自发光像源，驱动电路简单，视角宽，清晰度高，亮度也高。但考虑到像源光经过光路处理系统BS半透半反棱镜，会有亮度的损失，因此我们在亮度方面是否合适做了验证。

在显示设备中，亮度［10］（Luminance）定义为单位面积、单位立体角内测量所得到的光通量，即单位投影面积上的发光强度，单位为ni（t尼特）或cd/m2。人眼可以看到的亮度是衡量视频眼镜的重要参数，亮度和光通量的关系由下面简化公式（1）换算：

式中，L为亮度，S为发光面的面积，Ω为对应的立体角。

假设视频眼镜可以到达人眼瞳孔的能量占芯片总能量的η，视场角为±θ，那么人眼可以看到的亮度近似如式（2）所示：

式中，Φ是OLED微像源的光通量，Seye为人眼瞳孔面积。本论文用LED作为OLED的照明光源，典型的LED芯片亮度为107量级，发光效率约为20 lm/W，假设LED在1 W的驱动下，光学系统的效率为1%［11］，则对于视场的30°计算可得，通过瞳孔可以看到的亮度约为105 nit。而在白天环境亮度为104 nit时，人眼大约能分辨的亮度范围为200 nit～20 000 nit，低于200 nit的亮度感觉为黑色；夜间环境为30 nit时，可分辨的亮度范围为1 nit～200 nit，这时100 nit的亮度就引起相当亮的感觉，只有低于1 nit的亮度才引起黑色感觉。因此可以看到，OLED可保证人眼看到足够的亮度，满足本套系统的光源需求，故本系统采用基于OLED的光源成像。

2.2光路处理模块成像原理以及可控倍率推导

像源OLED图像的光经过BS分光棱镜，一部分光经过BS透射进入凹面镜成虚像，虚像光源经BS棱镜反射进入目镜系统成像。成像原理示意图如图3所示。

图3　虚像成像原理示意

在研究中我们选择使用Φ=-2 cm和Φ=-16 cm两款凹面镜，实验结果表明：

（1）当凹面镜的Φ=-2 cm时，放大效果非常明显，而凹面镜的Φ=-16 cm时，放大效果不明显。

（2）当凹面镜的Φ=-2 cm时，移动凹面镜，像的大小变化很大；而Φ=-16 cm的凹面镜，像变化率较小。

关于凹面镜对成像原理以及虚像放大率的控制效果作以下推导（图4）。

图4　凹面镜成像系统

图4即为凹面镜成像系统，箭头指向为正，坐标原点取在面镜中心，面镜的焦距为（ff<0），物的位置s（s<0），物距离面镜中心距离为d=|s|，像的位置为s′。根据面镜成像公式［12］

可以得到

所以像的放大率

由于在本系统中要求凹面镜成放大的虚像，因此有f-s<0，因此

依据式（6）对实验中的两种现象进行分析。

（1）放大率与f的关系。实验现象显示，凹面镜放于同一位置，但焦距不同时，像的放大率不同，因此这里需要求放大率对f的偏导，由式（6）得：

因此放大率随着焦距的增大而增大，因此选用-2 cm焦距的凹面镜，放大效果要明显于-16 cm的凹面镜。

（2）放大率的变化率与f的关系。

实验现象显示，焦距不同的凹面镜，移动相同的距离时，像的放大率的变化不同。因此这里需要求放大率对s的偏导，求得放大率与s的关系，然后再对f求偏导，求得f对放大率变化率的影响。由式（7）得

可以得到随着s的增大，即物体离面经越来越近时，放大倍数越小。然后由式（8）得

因此随着f的增大（也就是|f|的减小），放大率β随s的变化率会增大，因此会观察到f=-2 cm的凹面镜的放大率变化率会远大于f=-16 cm的凹面镜。

根据推导可以得知，焦距为-2 cm的凹面镜放大作用会远优于焦距为-16 cm的凹面镜，对此，我们辅助以试验来验证结果的正确性。

试验结果表明：使用该方案成像清晰，亮度适中，大小可从等大一直调节到无穷大，无干扰反射光。且与外景叠加效果良好。当用焦距为-2 cm的凹面镜时，放大效果非常明显，满足试验所需的要求，因此采用此套方案作为系统的最终方案。

2.4双目成像系统的结构设计

双目成像系统是基于左右两套系统形成的一定的双目视差。在本套系统中，由于采用的是两套独立的单目系统，两只眼睛由两套成像相互独立的光源分别投影，因此，必须使两幅投影图片满足人眼视差的关系，消除双目竞争才能使佩戴者使用时感觉到双眼看到的是同一幅图像，双目叠加的方式有很多种，具体可参考前文已给出的双目视觉图像文献。

依据光路特点和调节要求，设计双目系统的支架镜筒，为了保证成像质量，避免漏光问题，本套模型系统采用黑色ABS快速成型技术。

模型满足如下要求：

（1）凹面镜与BS之间距离在0～3 cm内可精确微调。

（2）BS另一侧应与OLED光源尽量紧贴，减少光线漏出和光路的延长。

（3）嵌装BS的套筒应尽量少遮盖通光表面积，以保证用户观看时的视场角足够大。

（4）左右眼两套系统之间的距离可调，上下高度可调，前后以及角度可调，满足不同用户需求。

（5）所有元件均可方便地拆卸组装，保证调试的便捷性。

具体实物图如图5所示。

图5　双目系统模型支架图

2.5双目系统调试

双目图像融合是双目系统的核心基础。分别通过计算机给左右两套系统OLED像源设定待融合的图片，根据实验者的眼距来调节两套系统的距离，上下水平高度以及两套系统的角度，从而可以获得完整地融合效果图。

（1）设定黑色背景，传送彩色图案，效果图如图6所示。

图6　黑底彩色效果图

（2）传送黑白图案叠加外景，效果如图7所示。

图7　黑白图案增强现实效果图

从展示的效果图中可以看到，本套系统对于黑白图案和彩色图案，均能做到以下指标：图案清晰无畸变，色彩还原度高且颜色鲜艳，显示分辨率高，有可调节的放大效果（OLED微显示像源有效发光表面积大约仅为1.5 cm2），此外，对于外景的叠加，能够做到互不干扰、真实可靠。

进行双目测试时，由于双目融合效果由大脑和眼球同步处理，照相机无法模拟，因此此处无法展示最终效果图。根据我们实验观察及测试，符合理论值。双目叠加范围［13］在100%时几乎感受不到双目竞争，而在0%时有比较明显的双目竞争，且视野稍有变形。二者较为明显的分界线在于30%～50%的叠加率之间。

另外通过测试还发现，双目融合的过程中对左右眼两套系统的的OLED像源的要求高，必须保证两块OLED的色彩饱和度、亮度信息高度一致才能获得优质的融合效果图。

3　结论与展望

该研究项目目的是搭建一套基于双目视觉的增强现实模型系统，由OLED微显示像源子系统、BS和凹面镜构成的双目简约成像子系统和双目模型支架子系统组成。该双目增强现实实验模型系统能够在合理叠加外景的基础上实现大视场、高亮度、高清晰度显示预定的黑白或彩色图像，自由调节虚像放大率；模型支架可根据不同用户的需求实现上下左右前后以及角度7个自由度的调节，并且整套系统模型能够方便拆卸组装，可用于增强现实类应用的界面设计模拟以及相关的研究。

从虚拟现实头盔显示到单目增强现实谷歌眼镜，未来智能眼镜的发展趋势必然是趋于双目，只有双目显示才能实现3D和全息影像，因此，我们这套双目增强现实系统模型为今后双目成像技术和增强现实技术结合的研究有很大的帮助。

［1］朱淼良，姚远，蒋云良.增强现实综述［J］.中国图象图形学报，2004，9（7）：2.

［2］康绍鹏.增强现实关键技术研究［D］.沈阳：航空航天大学航空工业专业，2009：15-1.

［3］钟慧娟，刘肖琳，吴晓莉.增强现实系统以及关键技术的研究［J］.计算机仿真学报，2008，25（1）：2.

［4］管涛.增强现实中的虚实配准方法研［D］.武汉：华中科技大学空间信息科学与技术专业，2008：11-13.

［5］念聪.谷歌眼镜——戴在鼻子上的智能终端［N］.软件工程师，2013-07-15：1-2.

［6］蔡磊.基于微显示器件的3D双目成像方法及FPGA实现［D］.成都：电子科技大学电子与通信工程专业，2012：11-12.

［7］张可.基于双目立体视觉原理的自由曲面三维重构［D］.武汉：华中科技大学机械制造及其自动化专业，2005：21-27.

［8］成剑华.基于相位匹配的自由曲面双目视觉测量方法的研究［D］.武汉：华中科技大学测试计量技术及仪器专业，2012：8-12.

［9］张积梅，关玉琦，刘畅.硅基OLED微显示技术的优势与发展现状［J］.集成电路运用，2012-09-10：1-2.

［10］百度百科.亮度［EB/OL］.http：//baike.haosou.com/doc/3650460-3836943.html.

［11］刁玉洁.关于OLED亮度和寿命的优化研究［D］.青岛.中国海洋大学电子与通信工程专业，2014：11.

［12］王拥军.关于成像公式精确度的分析［J］.中学数理化，2011-01-15：1.

［13］张可.基于双目立体视觉原理的自由曲面三维重构［D］.武汉：华中科技大学机械制造及其自动化专业，2005：45-47.

陈春妃（1992-），女，海南省海口市人，东南大学电子科学与技术专业本科生，213123123@seu.edu.cn；

汤勇明（1973-），男，江苏省江都市人东南大学电子学院研究员、博士，从事显示电子学、光电测试与评估方面的研究，tym@seu.edu.cn。

Design of Augmented Reality Evaluation System Based on Binocular Vision*

CHEN Chunfei1，CHEN Qiong2，TANG Yongming*
（1.School of Electronic Science and Engineering，Southeast University，Nanjing 211189，China；2.School of Chien-ShiungWU college，Southeast University，Nanjing 211189，China）

To improve monocular vision shortcoming of unrealistic，uncomfortable and small range users，an augment⁃ed reality evaluation system is proposed，which selects high resolution，wide color gamut and high integration 2 mm× 17 mm micro OLED display as an imaging image source，large size BS prism and a concave mirror as an imaging ele⁃ment，control the image magnification to improve the field of view.The system can achieve high clarity and stability of monocular and binocular augmented reality imaging effect.With a multi-dimensional adjustable degree，the magni⁃fication times can be from one to infinite，the eyes'district and binocular image synthesis angle also can be adjusted. Key words：optical modeling；binocularaugmented reality；binocular image fusion；OLED micro display；multi-di⁃mensional regulation

R339.14

A

1005-9490（2016）02-0248-05

EEACC：6140C；7230G10.3969/j.issn.1005-9490.2016.02.003

项目来源：东南大学2014年基于教师科研的大学生创新实践研究项目（T14062002）

2015-06-06修改日期：2015-07-03