支持力反馈的胆囊虚拟手术机器人仿真系统研究

季如宁

苏州大学 机电工程学院，江苏 苏州 215008；苏州市立医院北区 医学工程部，江苏 苏州 215008

支持力反馈的胆囊虚拟手术机器人仿真系统研究

季如宁

苏州大学 机电工程学院，江苏 苏州 215008；苏州市立医院北区 医学工程部，江苏 苏州 215008

本文利用虚拟现实技术搭建了一个支持力反馈的胆囊虚拟手术机器人仿真系统。主要讨论了本系统中涉及的软组织虚拟模型构建、碰撞检测、力反馈计算、虚拟机器人的设计及运动控制、虚拟环境搭建等关键技术的实现方法。并对于传统力反馈计算中存在的计算量大导致系统实时性较差的问题，提出了一种新的力反馈计算方法。通过在所搭建平台上进行的胆囊虚拟手术操作，分析该系统的性能指标。结果表明，该系统中机器人运动控制较为流畅，对于胆囊的虚拟手术操作具有较为真实的力觉反馈和视觉反馈，且系统具有较好的稳定性及实时性。

虚拟手术；机器人；手术仿真；胆囊

引言

随着人类对智能化生活要求的提高，大大促进了机器人技术的发展，而机器人技术的发展对微创外科手术这一人类手术革命又起着一个至关重要的作用。特别是随着Da Vinci系统[1]和ZEUS系统[2]的面世，全世界开始对微创外科手术机器人进行深入研究。通过众多的实验研究可以知道[3-4]，微创手术机器人具有创口小、失血少、术后恢复周期短等优点。对于传统的手术培训而言，除了尸体和动物以外没有更好的操作对象[5]。但是利用动物进行手术训练成本比较高、代价比较大、周期比较长且不符合人道主义精神。伴随着虚拟现实技术的发展，将虚拟现实技术引入到手术训练中，创建一个具有三维效果的虚拟环境，结合力反馈装置为外科手术医生提供一个手术训练和学习的平台。针对性地进行虚拟手术仿真训练，可以帮助实习医生在短时间内获得临床手术经验，减少实习医生成长为一名合格医生的时间。虚拟手术系统还可以帮助医生用于术前规划和手术预演，以提高临床手术的成功率[7]。

在虚拟手术训练平台中，训练者通过力触觉设备对虚拟手术环境中的人体组织器官进行交互操作，能够获得较高沉浸感和真实感，使得训练者有一种真实手术操作的感觉，无需真正的人体器脏组织，且可以反复进行训练，成本很低。鉴于虚拟手术训练的这些优点，国内外众多学者都对此技术展开了研究。2001年，西班牙的Meier等[8]开发了一种具有力反馈功能的三维微创手术培训系统；次年，苏永松等[9]设计了一种骨科手术模拟系统；2003年，斯坦福大学的研究人员[10]开发了一种血管以及血管缝合的仿真系统；2005年，谭坷等[11]设计了一种鼻腔镜虚拟手术仿真系统；2010年，Konietschke等[12]基于自行研制的手控器开发了一套微创外科手术多模式训练平台，开创了微创手术训练的新时代。2012年，东南大学的宋爱国老师的团队[13]利用Omni作为力反馈交互设备，开展了双通道力触觉交互的虚拟肺手术仿真系统研究。

虚拟手术仿真训练对于真实感和沉浸感有着较高的要求，这对训练系统中软组织器官的真实性、变形的实时性以及变形的逼真程度等都提出了更高的要求。本研究构建了一种具有力反馈手感的胆囊虚拟机器人手术仿真训练平台，从提高图像的流畅度、变形的逼真程度、力触觉手感出发，针对胆囊微创手术的操作，详细阐述了该仿真训练系统的组成及构建方法，并针对传统碰撞力计算中存在的计算量较大，影响系统响应实时性的问题，提出了一种改进方法。

1 仿真系统的设计

虚拟手术系统的组成可以分为硬件模块及软件模块，硬件模块主要由交互设备、主机、显示器、鼠标、键盘等组成；软件模块主要由仿真环境和各个功能模块（视窗变换、手术器械去抖、运动缩放和限位、漫游、碰撞检测、力反馈计算等）组成。仿真系统结构，见图1。

图1 仿真系统平台结构

其中，力反馈器（交互设备）作为虚拟仿真系统的重要组成部分，是主要的控制信息输入源，它能够将用户的行为信息转化为运动控制信号，通过仿真环境生成机输入到虚拟手术环境中，控制虚拟手术器械进行作业任务，完成各个虚拟手术的仿真。虚拟手术器械的运动信息将通过显示器反馈给用户，人体组织器官对虚拟手术器械的反馈力通过力反馈装置的操作手柄反馈给操作者。本系统选用Force Dimension公司的Omega 7.0七自由度触觉反馈装置作为交互设备（下文称“主手”），见图2。其主要性能参数如下：工作空间为160 mm×160 mm×130 mm，线性分辨率为0.006 mm，角分辨率0.28 deg，可持续施加力12.0 N，力反馈x、y、z，刚度为14.5 N/mm，自由度为7。

2 仿真系统实现

仿真系统中力反馈设备选择Omega 7.0，计算机配置为i7-6820HQ CPU、16 G内存及NVIDIA Quadro M2000M显卡。系统软件通过VC 2010结合CHAI 3D进行开发。CHAI 3D是一个用于电脑触觉形象化和交互式实时仿真的免费C++库，基于其开发的程序可移植性好，只需要创建相应的接口，程序就可以运行。CHAI 3D能支持3自由度、6自由度、7自由度等多种力觉设备，同时它还提供了碰撞检测模块、文件操作模块、虚拟器械模块等多个功能模块，囊括了常用的虚拟现实所需的方法。

图2 Omega 7.0参考图

2.1 几何建模

2.1.1 虚拟手术机器人及器械建模

手术机器人的机械结构由3部分组成，机械臂、微器械以及机器人底座。由于在虚拟仿真的过程中需要实时地更新显示机械臂各个部件的位姿，所以在建立各个部件的几何模型时，即要保证各个杆件的尺寸，又要合理设置各杆件的局部坐标和运动杆件在世界坐标系下的位姿。

为了减小仿真程序的计算量，在建立机器人各个杆件的几何模型时，将各个杆件的局部坐标设置在各个杆件间相对运动的关节处。Solidworks中建立的虚拟机器人模型，见图3。虚拟手术机器人本体共7个关节自由度，其中1～3关节为无驱动控制关节，4～7关节为可驱动控制关节，见图4。

图3 机械臂自由度分布

图4 驱动关节分布

针对胆囊手术过程中对胆囊进行的按压、夹持及切割等操作，设计了虚拟操作器械，见图5。

图5 虚拟手术器械

2.1.2 胆囊及其附属管路建模

本系统中采用3DMax三维建模软件进行胆囊虚拟模型的绘制（图6a）。将绘制的模型导出格式为.3DS的文件，然后将文件导入到Deep Exploration中，对胆囊模型贴图渲染（图6b），并将渲染后的模型再次保存为.3DS格式文件，在搭建虚拟环境的时候读入此文件。

图6 胆囊虚拟模型

2.2 物理模型

建立基于物理特性和生理特性的软组织模型并对人体的组织器官形变过程进行实时、逼真地模拟是整个手术仿真系统的关键。目前常用的物理建模有有限元法、边界元法、长单元法和质量－弹簧模型等方法。

由于真实的胆囊具有粘弹性，为保证虚拟仿真的可行性和实时性，这里暂且可以忽略其粘性特性。综合考虑虚拟手术仿真的实时性和真实性，本文选用质量-弹簧模型对软组织进行物理建模。利用此方法建立的模型较为简单，计算量小，适当控制模型中节点的数量，可以同时满足仿真精度和仿真实时性的要求。

这种建模方法的主要思想是将仿真对象离散为若干个质点，质点与质点之间用符合线性弹性模型要求的弹簧连接，整个模型的质量集中在质点上，整个系统总趋向零能量，胆囊及其附属管路的简化物理模型，见图7。

图7 胆囊的质量-弹簧模型

软组织的变形实质上就是质点的运动产生的，而每一个质点的运动都遵守牛顿第二定律。

式中mi表示质点i的质量，xi表示i点的位置，它是一个三维向量，和分别表示xi对时间t的一阶和二阶导数。公式的右边表示的是作用在这个点上的力。第一项表示的是与速度相关的主力，其中Ci表示的是阻尼系数，第二项表示的是质点i与质点j之间连接弹簧作用的力，第三项表示的是作用在质点i上的其它外力（如重力和操作者施加的力）的和。

当其中某一个质点在外力的作用下发生位置变化时，与其连接的弹簧发生变化，无质量弹簧将会伸长或缩短，其弹性力发生变化，破坏了原有的力平衡关系，为形成新的力平衡状态，质点的位置发生变化，运算形成新的平衡状态，组成新的网格，即物理模型发生形变，进而引起几何模型发生变形。

2.3 碰撞检测

碰撞检测是判断虚拟手术工具与胆囊模型之间是否发生了碰撞，并且在发生碰撞的情况下精确地定位模型发生碰撞的位置，称为碰撞点。只有确定了接触发生，才有必要给模型实施变形处理，只有根据碰撞检测的结果，才能对模型的变形进行精确的计算。

目前大多数碰撞检测使用的是包围体层次结构检测模型，常用包围体有轴对称包围盒[14]、方向包围盒[15]、包围球[16]、离散有向多面体[17]等。由于AABB具备计算量较小的优点，能够实现快速碰撞检测，故本研究采用此方法进行碰撞检测。

AABB的基本思想是几何特性简单而体积较大的包围盒来近似地描述复杂的几何对象，在对两个物体碰撞检测时，应先检查两者的包围盒是否发生了相交，若不相交，则说明两个包围盒中的物体并未发生碰撞；如果相交，则两个包围盒中的物体发生了碰撞。如果系统要求得到精度更高的检测结果，还需对物体之间的位置关系进一步计算，即进行碰撞的精确检测。因为包围盒形状比较简单，所以求包围盒的相交要比求物体的相交容易的多，从而提高了运算速度。

2.4 碰撞力计算

当检测到虚拟器械与软组织模型发生碰撞后，需要确定力反馈的大小和方向，并通过力反馈器输出，见图8。

传统碰撞力的大小计算是先求取每个自由点单独的受力情况，此时假定与之相邻的自由点固定不动，当所有自由点的力求解完毕后,再计算这些自由点的合力。由于这种方法考虑了所有的自由点，导致计算量变大，在模型复杂、自由节点较多的情况下会大大降低系统响应的实时性。考虑到距离碰撞点较远的自由点对于力反馈的贡献很小，故本研究提出一种新的力反馈计算方法。该方法操作如下：首先设置一个距离阈值D，遍历所有质点，并计算该质点到碰撞点的距离，若小于该阈值，则记录此点；然后遍历所记录的每个质点，计算该质点手术器械的距离，进而计算各个质点的力Fi，然后计算虚拟器械到相应质点的距离矢量之和∑Li，最后计算合力的大小。上述方法操作流程，见图9。

图8 软组织变形简图

图9 力反馈计算方法

在上述操作过程中，选取合适的阈值，既能大大提高系统力反馈的实时性，又能够保证力反馈的真实性。

2.5 虚拟手术场景建模及场景漫游

为了让操作者对虚拟手术中的器械模型有一个宏观的认识，了解手术环境，熟悉手术过程中各不同组成部分的相对位置关系，需要进行虚拟手术场景建模，即在虚拟手术场景中添加手术机器人、手术床、人体及腹腔组织器官等模型。

虚拟场景的建立是基于CHAI3D中封装的OPENGL完成的。先是建立各虚拟模型的机械结构，然后用3DMax对机械结构进行重建，保存为.3DS格式文件,最后将模型导入到虚拟环境中。手术场景建模结果，见图10。

为了方便操作者对手术环境进行全方位的了解，虚拟系统需要提供多种漫游控制功能：包括了视角的前进、后退、左右平移、重置观察点位置、左右旋转、旋转视图以及视角的上升、下降。本系统通过在虚拟环境中添加一个摄像机，用来模拟操作者的观察点，通过鼠标控制来改变摄像机的位置，从而实现上述漫游功能。

图10 手术场景建模

3 仿真系统实验

按上述方法搭建了机器人虚拟手术仿真系统后，本研究在此系统上进行了实验。实验分为包括机器人运动控制仿真及胆囊虚拟手术操作仿真。

3.1 虚拟场景漫游

场景漫游不同视角观察得到的场景模型，见图11。

图11 不同视角下的虚拟手术场景漫游

3.2 手术机器人运动仿真

本系统中的建立的手术机器人具有7个自由度，前3个自由度是无驱动关节，用于术前手动调整臂形。后4个关节是驱动关节，用来满足手术操作仿真的需要。由于物理主手与手术机器人末端关节并非完全对应，所以本文先利用D-H参数法对虚拟手术机器人进行运动学分析，然后以主手的位置信息作为机器人末端位置信息，并通过逆解求取个驱动关节的位姿，然后跟新虚拟模型中机器人的位姿，从而实现主手对虚拟手术机器人的控制。

由于在实时仿真的过程中往往存在延时、抖动等现象，因此不仅需要力反馈器在实时性上满足要求，还需要添加去抖、限位、避撞等功能模块。运动控制流程图，见图12。虚拟机器人运动控制，见图13。

图12 运动仿真流程图

图13 虚拟机器人运动控制

3.3 胆囊虚拟手术仿真

调整好虚拟机器人姿态后，程序进入胆囊虚拟操作界面，此界面可切换虚拟器械。针对胆囊分别设计了按压、夹持及胆囊管切割实验。为胆囊按压实验，见图14。位于上述操作状态下主手的位置信息，及力反馈在的x、y、z三个坐标轴上的分量，见表2。

图14 胆囊按压变形过程

表2 手术器械的位置和受力（mm/N）

将虚拟手术器械切换成夹持器械，对胆囊体做夹持仿真实验（图15a），胆囊体被夹持柱并被拖拽，变形较大。将工具切换到切割器械，对胆囊管进行切割仿真（图15b），胆囊管被切断。

为进一步优化所搭建的仿真系统平台，我们挑选某医院临床专业10名实习生和两名肝胆科室医生进行上述实验仿真操作，然后与实验者们进行反馈交流。多数实习生表示，在本系统上进行的胆囊仿真操作的过程中，力触觉感觉平稳，图像较为流畅，无停顿感，接触力大小连续变化，虚拟环境中的胆囊变形逼真度较高。实验者也提出一些改善意见：添加切割后后血液的渗出、多器械同时操作及添加胆囊周围组织等。

图15 胆囊夹持实验（a）和胆囊管切割实验（b）

4 结论

本文利用虚拟现实技术搭建了一个支持力反馈的胆囊虚拟手术机器人仿真系统。该系统能够实现对虚拟环境的漫游；借助主手能够实现虚拟手术机器人的运动控制，并且能够借助所设计的虚拟器械，对胆囊进行按压、夹持及切割的虚拟操作。实验结果表明:虚拟环境中机器人的运动过程较为流场，对于胆囊的虚拟手术操作反馈逼真度较高。由于虚拟手术仿真系统较为庞大,若想实现完全真实的操作手感及完全复现更多的手术操作，还需进行更为深入的研究。后续的研究工作将围绕不断提高视觉和力觉反馈的真实度展开。

[1] Guthart GS,Salisbury JK.The intuitiveTMtelesurgery system:overview and application[A].Robotics and Automation, 2000.Proceedings. ICRA’00.IEEE International Conference on[C].New York:IEEE,2000,1:618-621.

[2] Butner SE,Ghodoussi M.Transforming a surgical robot for human telesurgery[J].IEEE Trans Robot Autom,2003,19(5):818-824.

[3] Lomanto D,Cheah WK,So JB,et al.Robotically assisted laparoscopic cholecystectomy: A pilot study[J].Arch Surg,2001,136(10):1106-1108.

[4] Ruurda JP,Broeders IA,Simmermacher RP,et al.Feasibility of robot-assisted laparoscopic surgery: an evaluation of 35 robotassisted laparoscopic cholecystectomies[J].Sur Lapar Endos Percut Tech,2002,12(1):41-45.

[5] 黄凯.具有力反馈的微创腹腔手术机器人虚拟手术技术研究[D].哈尔滨:哈尔滨工业大学,2010.

[6] 程立英.虚拟手术若干关键技术研究[D].沈阳:东北大学,2006.

[7] Satava RM.Surgical education and surgical simulation[J].World J Surg,2001,25(11):1484-1489.

[8] Meier U,García FJ,Parr NC,et al.3D surgery trainer with force feedback in minimally invasive surgery[A].Computer Assisted Radiology and Surgery.Proceedings of the International Congress and Exhibition[C].Berlin:DBLP,2001:32-37.

[9] 苏永松,许忠信,李浩宇.一个基于PC的骨科手术模拟系统[J].计算机工程,2003,29(21):41-42.

[10] Hoznek A,Zaki SK,Samadi DB,et al.Robotic assisted kidney transplantation: an initial experience.[J].J Urology,2002,167(167):1604-1606.

[11] 谭珂,郭光友,潘新华,等.一种鼻内窥镜虚拟手术仿真系统[J].计算机工程,2006,32(16):243-244.

[12] Konietschke R,Tobergte A,Preusche C,et al.A multimodal training platform for minimally invasive robotic surgery[A].New York:IEEE,2010:422-427.

[13] 张小瑞,孙伟,宋爱国,等.双通道力/触觉交互的虚拟肺手术仿真系统[J].仪器仪表学报,2012,33(2):421-428.

[14] Cai P,Indhumathi C,Cai Y,et al.Collision detection using axis aligned bounding boxes[M].Berlin:Springer,2014:1-14.

[15] Ding XJ.Research on collision detection algorithm based on OBB[J].Appl Mech Mater,2013,(433-435):936-939.

[16] Berkley J,Turkiyyah G,Berg D,et al.Real-time finite element modeling for surgery simulation: An application to virtual suturing[J].IEEE Trans Visual Com Grap,2004,10(3):314-325.

[17] Zhou JZ,Xu XP,Zhu ZC,et al.Research and application of K-DOPS algorithm in virtual maintenance training system for diesel engine[J].Adv Mater Res,2013,(805-806):1911-1916.

Research on Supportive Force Feedback of Gallbladder Virtual Surgical Robot Simulation System

JI Runing
School of Mechanical and Electrical Engineering, Soochow University, Soochow Jiangsu 215008, China;Department of Medical Engineering, Suzhou Municipal Hospital North District, Suzhou Jiangsu 215008, China

In this paper, we used virtual reality technology to build a supportive feedback gallbladder virtual surgery robot simulation system. This paper mainly discussed the implementation of key technologies such as soft tissue virtual model construction, collision detection, force feedback calculation, virtual robot design and motion control and virtual environment construction. And a new force feedback calculation method was proposed for the problem that the computational complexity in the traditional force feedback calculation leaded to the poor real-time performance of the system. The performance of the system was analyzed by the gallbladder virtual operation on the platform. The results showed that the motion control of the robot was relatively smooth, and it had more realistic force feedback and visual feedback for the virtual operation of gallbladder, and the system had good stability and real-time nature.

virtual surgery; robot; surgical simulation; gallbladder

TP242

A

10.3969/j.issn.1674-1633.2017.12.007

1674-1633(2017)12-0030-05

2017-05-08

作者邮箱：jrn844@126.com

本文编辑 袁隽玲