基于力反馈的桌面立体显示与交互系统研究*

姚晓永，吴平东，黄 杰，黄漫玲

(1.北京理工大学 机械与车辆学院，北京100081;2.北京政法职业学院 安全防范系，北京100024)

0 引 言

现实世界是一个三维立体世界，人通过眼睛观察到的是有立体感觉的物体，这是因为人体的大脑根据双目提供的具有视差的平面图而合成了具有立体感的图像［1］。利用人的双目视差原理，通过计算机生成和人工合成等方式产生符合生理规律的平面视差图像，并将其分别投射给左右眼，就可以观察到逼真的三维图像［2］。本系统的立体显示部分实现了3ds 格式的对象模型自由导入，同时，观察者可以佩戴主动快门式立体眼镜观看立体图像，达到了逼真的效果。

对空间中的立体图像进行操作和感知，需要开发出相应的力觉交互设备［3］与立体显示系统连接才能达到交互的效果。目前，对力觉交互的研究有很多，其中，基于线绳式力反馈的力觉交互器(space interface device for artificial reality，SPIDAR)是由日本东京工业大学精密工学研究所佐藤诚教授最早提出来的［4］。该机构是使用线绳将执行器和操作设备连接起来，根据电机传感器测量出线绳长度来计算出空间位置，实现动力传动，提供力觉感知。但是该系统不能提供三维视觉，且只能通过替身实现间接交互，因此，沉浸感不强。法国Haption 公司和Angers 大学合作研究的用于提高虚拟装配工效的大空间力反馈设备，也采用SPIDAR结构的线绳力反馈设计，力觉显示采用5DT公司的14 自由度无线数据手套附加小型电机实现，此种方式只能对虚拟立体图像进行间接操作，降低了立体交互的真实性［5］。

本文采用的是基于SPIDAR 的交互器，结合开发的立体显示系统，可以实现操作对象的三维视觉，克服了原有SPIDAR 设备不能直接操作立体视觉模型对象的弱点。同时，在交互器中安装带有光电传感器的电机，可以精确地测量出操作末端的空间位置，这样就可以实现操作末端与空间虚拟立体图像的位置重合，使得操作者可以直接交互虚拟图像。

1 系统设计

如图1 所示，整个系统框架由系统处理单元、立体显示设备和线绳交互设备SPIDAR 组成。立体显示器是主动式显示器，接收依次排开的左右视差图像，观察者佩戴的主动快门眼镜通过红外接收器与视差图像序列保持相同频率，就能观看到立体图像［6］。线绳式力反馈设备的尺寸大小为0.6 m×0.6 m×0.6 m，由4 根线绳组成，操作者可以用单根手指操作线绳末端与虚拟立体图像交互。

系统处理单元包含了立体图像生成模块、操作末端空间位置检测模块和线绳拉力产生模块。系统单元中立体图像生成模块是基于VC 和OpenGL 的工程，工程中通过对3 ds模型对象的数据结构进行读取和重新绘制，实现了3 ds模型的导入，同时，利用OpenGL 对立体显示卡进行编程，调用了立体显卡的quad－buffer 功能，实现了左右视差图像的双通道输出，操作者佩戴主动快门眼镜就可以看到立体图像。

操作末端空间位置检测为4 个光电编码器通过电机旋转产生脉冲数，处理单元读取编码器脉冲数计算出每根线绳长度，再根据空间几何关系计算出操作末端的空间位置。线绳拉力产生模块根据检测到的操作末端空间位置与空间立体图像的位置关系，采用一定的分配策略来分配各线绳的拉力。

图1 系统框架图Fig 1 System frame

2 操作末端空间位置检测

2.1 线绳长度的检测

线绳长度是通过旋转编码器的计数计算电机轴转过的角度来间接测量得到的，编码器的单向脉冲个数用来记录电机轴转过的角度。当电机轴转一周需要N 个单向脉冲，绳轮半径为R，单个脉冲所代表的线绳长度为

本研究中选用的 M 型MR 编码器每转的脉冲数为512，绳轮半径为10 mm。

光电编码器的脉冲计数是根据光敏元件所产生的信号A 和B 彼此间的相位关系来确定的。当码盘正转时，A 信号超前 B 信号90°;当码盘反转时，B 信号超前 A 信号 90°。要测量线绳长度，系统电机控制单元就必须对电机的正转和反转脉冲数分别进行计数，当A 信号波处于上升沿而B信号波处于低电平时，正转脉冲数NA加1;当A 信号波处于上升沿而B 信号波处于高电平时，反转脉冲数NB加1。当NA大于NB时，电机正转脉冲数为NA－NB，则线绳长度为L+ΔL(NA－NB);当NA小于NB时，电机反转脉冲数为NB－NA，则线绳长度为 L －ΔL(NB－ NA)，其中，L 为线绳的原始长度。

2.2 操作末端位置解算

在图1 系统框架的力觉交互设备中，设框架坐标系原点为中心，则手指末端到4 个端点都存在一定函数关系，由这4 个空间几何函数关系可得方程组如下

其中，坐标系的方向为水平向左为x 轴正方向，垂直向外为y 轴正方向，竖直向上为z 轴正方向，2a 为操作区域在x 轴方向的长度，2b 为y 轴方向上的长度，2c 为 z 轴方向上的长度。

根据方程组(2)中的4 个方程式可以求得操作末端在空间中的位置为

将从光电编码器读出的脉冲数计算得到的各线绳长度代入便可以得到操作末端的空间位置。

3 立体图像空间位置计算

三维立体图像成像原理是左眼看左视图像，右眼看右视图像，大脑就会在感知到在真实空间中形成一个虚拟的立体图像。这个图像不是真实存在的，因此，不能用测量工具来测量其在空间中的位置。立体成像遵循左右眼视线相交几何原理［7］，可以通过相交的直线几何关系来推出，视线相交几何图如图2 所示。

图2 立体成像原理图Fig 2 Principle diagram of stereoscopic imaging

在原理图中，Z 为图像到显示屏的距离，F 为人眼到显示屏的距离，L 为瞳距，D 为左右视差图像距离。根据几何关系可以得到如下关系式

由式(8)可以得到立体图像在坐标系中的x，y 和z 轴上的坐标值

4 线绳拉力的分配原则

在基于线绳的力反馈设备中，线绳只能输出张力，不能输出压力，因此，要合成一个空间三自由度的力必须要由4 根线绳连接在一个操作末端上来提供合力。这个合力要求是能够表达各个方向上的力，合力的表达式为

其中，F 为合力矢量，Fi为第 i 根线绳上的张力，αi为第i 根线绳上的单位向量。

要保证4 根线绳的合力能够表达各个方向上的力，则操作末端的工作区域必须在如图3 区域。

图3 操作末端工作区域Fig 3 Working area of operating extremity

在三棱锥1234 中线绳在操作末端的合力可以是各个方向的完全显示。

在完全显示区域中，根据式(9)由4 根线绳上的拉力来合成一个只有三维自由度的力，就会造成3 个方程组解4 个未知数的情况，这样会造成无确定解，也就不能精确地合成所需要的合力。为了解决这一问题，本研究采用的方法是:将整个空间区域1234 划分成4 个工作区域P123，P134，P234 和P124，在这4 个区域内的合力则由组成这个区域的3 根线绳拉力来提供，由3 个方程解3 个未知数就可以得到确定的解。判断合力在某个区域内的方法是:将设定的合力矢量与每个区域内3 个面上的法向量分别求内积，如果全部为正数，则合力属于这个区域。

当操作者移动操作末端，由光电编码器检测每个线绳的长度，根据线绳长度计算得到末端空间位置，将这个位置值与空间中的虚拟立体图像位置进行对比，如果重合了，则按照上面的线绳拉力分配方法来合成接触力。

5 实 验

5.1 实验设备

整个系统由主动式立体投影系统和桌面型线绳力觉交互设备组成。主动立体投影系统由硬件和软件组成，硬件包括高性能主机-惠普图形工作站，处理器为Core i7，显卡型号为Nvidia Quadro FX5800，内存为8 G，立体显示器型号为华硕公司的ASUS VG235，快门眼镜为Nvidia 主动快门眼镜。软件系统包括立体成像模块和立体交互模块，立体成像模块能够实现3 ds 格式模型对象的自由导入，调用显卡的四路缓存技术实现了对象模型的立体投影。线绳式力觉交互设备包括框架和4 组由Maxon 电机、光电编码器、由绳轮和线绳组成的执行模块。

5.2 实验内容

在立体显示系统中导入3 ds 文件格式的机械零件图，如图4 所示。选取5 名实验对象来观察主动式立体成像效果，并操作线绳力觉交互器来进行单指碰撞交互实验，然后评价系统的交互性能，评价方式是从如图5 所示的5 个等级中选择1 个，最后得到平均分，来衡量系统的操作性能。

图4 零件模型图Fig 4 Picture of part model

图5 评价等级Fig 5 Assess grade

5.3 实验结果

5 名操作者在完成实验后分别对系统的三项性能进行了评分，即操作完成性、虚实融合性和操作真实性。完成实验后对系统的评价结果如图6 所示。

图6 单指碰撞交互实验结果Fig 6 Result of single finger collide and interaction experiments

6 结 论

本研究中的基于力反馈的桌面立体显示与交互系统实现了虚拟模型对象的立体显示，以及立体视觉与力觉显示的融合和交互，使得操作者达到了所触及所看的效果。在系统处理单位的作用下，操作者可以通过控制操作末端直接去接触实空间中的三维虚拟物体并感受各种效果。通过5 名实验者的体验，可以得出系统具有虚实融合性强、立体效果好、可操作性强、趣味性好的特点。

［1］ Dongson N A.Autostereoscopic 3D display［J］.Computer，2005，38(8):31 －36.

［2］ 王琼华，王爱红.三维立体显示综述［J］.计算机应用，2010，30(3):579 －581.

［3］ 黄 杰，李 建，肖 瑞.沉浸式虚拟环境下力反馈设备的直接交互方法［J］.高技术通讯，2011，7(21):743 －749.

［4］ Hirata Y，Sato M.3 dimensional interface device for virtual work space［C］∥Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems，Raleigh，USA:IEEE，1992:889 －896.

［5］ Richard P，Chamaret D，Inglese F，et al.Human－scale virtual environment for product design:Effect of sensory substitution［J］.International Journal of Virtual Reality，2006，5(2):37 － 44.

［6］ 刘小江.探究立体显示系统在虚拟现实中的运用［J］.计算机仿真，2011，28(9):313 －317.

［7］ 赵 猛，金一丞，尹 勇.立体显示中双目视差模型和深度感知研究［J］.计算机工程，2011，37(17):271 －273.