基于虚拟夹具的微创外科手术机器人运动约束研究

梁 科 ，王树新 ，李建民 ，苏 赫 ，卜逸凡 ，牛顺康

(1. 天津大学机械工程学院，天津 300350；2. 天津大学机构理论与装备设计教育部重点实验室，天津 300350)

近年来，机器人辅助微创外科手术(robot-assisted minimally invasive surgery，RMIS)作为一门新兴的技术被广泛地应用于各类手术中[1-2]．相对于传统微创外科手术而言，它能够为操作者提供立体视觉信息，增强手术工具运动灵活性，显著提高外科医生对手术的执行能力[3-4]；此外，机器人技术还能够提供其他手术方式无法提供的功能，例如远程操作的能力[5]．另一方面，手术患者可受益于相较于开放式手术更短的恢复时间和更少的失血量[6]．

机器人辅助微创外科手术将传统微创外科手术的床旁操作方式转化为基于人机系统的遥操作方式，这也为外科医生带来了新的挑战．主从遥操作模式所带来的手眼不协调、狭窄的操作空间、有限的视觉信息(只能观察到内窥镜探照范围内的区域)、力反馈信息的缺失以及徒手控制造成的机械臂运动不精确等因素都会使得医生在手术过程中易于产生过度操作，从而导致机器人执行机构发生碰撞干涉以及执行机构末端脱离视野的问题，这不仅会增加医生的精神负担，影响手术的效率，且存在对病患造成手术二次伤害的风险，由此带来的安全性问题不容小觑．因此，如何采取相应措施避免此类问题的发生以提高机器人辅助微创外科手术的操作效率与安全性，是当今医疗机器人研究领域的一个重要问题．

作为解决手术操作安全性问题中一种常用方法，虚拟夹具(virtual fixture)由Rosenberg[7]于1993年提出，最早应用于遥操作及人机交互任务中[8-10]．研究人员在机器人辅助手术中引入此类技术，对机器人末端执行机构的空间运动进行合理的引导和约束以防止意外伤害发生，如 Davies等[11]在膝关节手术中通过生成禁止型虚拟夹具来辅助机器人操作；Li等[12]在机器人辅助内窥镜鼻窦手术中利用基于解剖模型生成的虚拟夹具辅助医生完成了狭小空间内的手术操作；Park等[13]在机器人辅助冠状动脉旁路移植术中通过建立“虚拟墙”以阻止手术器械进入特定区域，并通过模拟实验验证了此种方法可有效减少手术时间，提高成功率．上述方法虽然可有效避免手术器械对组织造成的意外伤害，但虚拟夹具的定义与生成需要依靠医学成像设备对病灶区域进行三维建模，往往需要花费大量的时间和精力进行术前准备与数据处理，手术成本增加且操作复杂．Tang等[14]提出一种快速定义虚拟夹具的方法，通过在指定区域标记出关键区域自动生成虚拟夹具，以此防止待保护组织器官与手术器械发生触碰．此类方法无需进行繁琐的医学图像扫描与建模，并可根据医生的需求随意变换虚拟夹具，在确保安全操作的同时极大地降低了手术成本与操作难度．虽然该方法对主从操作类微创外科手术机器人具有普适意义，但仅考虑了病患介入环境中的空间约束，并未从机器人结构及运动特点进行考虑．

本文以实验室研发的“MicroHand S”系统作为研究平台，根据机器人辅助微创外科手术操作需求提出了一种基于虚拟夹具的机器人空间运动约束方法，针对机器人执行机构碰撞干涉与执行机构末端脱离术者视野两个常见问题展开研究，将其转化为多体间碰撞检测问题，通过构建多体间碰撞检测模型实时监测机器人执行机构之间及机器人与环境物体之间的碰撞，并采用人工势场与虚拟代理点相结合方式对机器人执行机构的空间运动进行合理引导与约束，从而达到提高手术效率与安全性的目的，最后通过仿真实验验证了所提出的空间运动约束方法的有效性．

1 问题的描述

在机器人辅助微创外科手术中，受机器人主从遥操作模式不足之处所带来的影响，常发生以下3种由人为误操作造成的意外情况．

(1) 病患体外机械臂之间发生碰撞干涉．主刀医生位于控制台侧，仅通过显示器获取病患体内病灶部位的图像信息，无法实时掌握病患体外机械臂的运动情况，极易发生由过度操作导致的机械臂碰撞干涉，机械臂运动受阻，机械臂之间卡住，若不及时处理将造成电机的损坏．此时手术被迫中断，需要助手将机械臂重新定位后再继续进行手术操作，影响了手术的效率．

(2) 病患体腔内手术器械杆与内窥镜杆之间发生碰撞干涉．内窥镜杆与体腔内内窥镜探照区域外的手术器械杆均不在医生可视范围之内，因此无法在手术过程中获知它们之间的相对距离．当两者发生碰撞干涉时，可能会导致手术工具损坏，甚至因内窥镜头的意外移动而使得主-从运动映射不一致[15]，由此将导致严重的医疗事故发生．

(3) 机器人执行机构末端脱离视野范围．由于徒手操作的不精准性及运动轨迹的不确定性，手术操作过程中医生很可能将手术工具移动至可视区域之外．此时医护人员无法确定手术工具在病患体内的确切位置，容易导致手术器械对内窥镜可视范围之外的器官组织造成损伤．

通过术前规划寻找合理的切口位置与机械臂初始摆位，虽然可以在有效操作空间(覆盖病灶区域范围内)内极大程度上防止上述情况的发生[16]，然而机器人执行机构可达空间往往大于实际需求，无法完全避免执行机构移动到安全操作区域以外，且某些手术的可操作空间较为狭窄，无法通过术前规划找到理想的术前设置以防止此类问题的出现，因此，应当设计主动预防的措施以确保手术安全顺利地进行．

2 “MicroHand S”系统机械臂构型及运动学分析

在进行微创外科手术时，手术器械以病患体表的手术创口作为运动中心，根据此工作特点，机器人执行机构需采用 RCM(remote center of motion)结构，在保证机械臂每个关节的运动不会引起运动中心位置发生变化的前提下，实现手术器械末端在体腔内可到达任意指定位置．“MicroHand S”系统机械臂采用串联结构，以3主动关节+2被动关节的布局形式(如图 1(a)所示)，在机器人对手术器械夹持位置施加操作力及手术切口周围会产生相应的反作用力及力偶共同作用下实现 RCM 运动[17]，在图 1(b)所示的机械臂运动学模型中，于各关节处建立运动坐标系，以O1作为运动基座原点，则各运动坐标系相对于基坐标的正运动学关系为

病患体表切口即机械臂的 RCM 与基座相对位置Q ∈ R3，可预先通过标定得到，器械杆长 l5为已知，则结合式(1)即可得出机械臂末端点 P在参考坐标系O1xyz下的位置，即

机械臂夹持点 E(x，y，z)相对于基坐标的位置矢量可以表示为

由式(3)结合机构的装配模式进行逆运动学求解，即可得出3个主动关节的表达式，即

图1 “MicroHand S”系统机械臂构型及运动学模型Fig.1 Configuration of the manipulator and kinematic model of“MicroHand S”

3 碰撞干涉检测模型的构建

3.1 包围盒的构建

由机械臂运动学模型可得执行机构运动空间如图 2所示．手术过程中，内窥镜持镜臂保持固定位姿，显然，机械臂之间的碰撞干涉发生在器械臂的工具夹持位置与器械臂末端运动空间中包含器械臂所在部位(图2中箭头所指部分)之间．

确定碰撞发生区域后，首先需要实时监测手术过程中器械臂与持镜臂之间的最小距离，这可转化为求解两个凸面体之间最短距离的问题．包围盒算法是一种常用来进行碰撞干涉检测的方法，其基本思想是利用体积稍大且特性简单的几何体(称为包围盒)来近似地代替复杂的几何对象．常见的包围盒算法有AABB(aixe align bounding box)包围盒、包围球、OBB(oriented bounding box)包围盒以及固定方向凸包FDH．

图2 机械臂运动空间Fig.2 Motion space of the robotic arm

一个物体的OBB包围盒可定义为包含该对象且相对于坐标轴方向任意的六面体．与 AABB包围盒及包围球相比，OBB包围盒的最大特点是其方向的任意性，这使得其可以根据被包裹对象的形状特征尽可能紧密地包围对象以提高碰撞精度，同时又避免了FDH复杂的求交运算，尤其适用于形状简单、手术过程中需要不断变换位姿且碰撞类型为刚体碰撞的机械臂结构．在三维空间中，OBB包围盒可由中心点位置向量 C，半边长l1、l2、l3和相互垂直的单位向量v1、v2、v3来表示，即

构建包围盒的关键是找出 3个边的最佳方向向量，使得包围盒的紧密型最好，由此可极大地减少包围盒的数量，减少碰撞检测次数．以pi、qi、ri分别表示包围盒表面上第i个三角面片的3个顶点坐标值，则所有顶点坐标均值为

构建协方差矩阵

式中：i、j、k为行数或列数；=pi-μ(其他行或列类似，下同)；

将协方差矩阵对应的特征向量单位化后即可得到 OBB包围盒 3个方向坐标轴．同时，将所有三角面片的顶点坐标分别沿 3个轴投影可得到对应的极值点，由此即可求出包围盒中心点及沿坐标轴上的包围盒半边长．

对OBB包围盒进行的碰撞检测通常基于分离轴理论，即如果存在一个平面P使得空间中互不相交的两个几何体分别位于该平面两侧，则必存在一条垂直于该平面的直线L(分离轴)，使得这两个几何体在该直线上投影半径之和小于两者中心连线长度在该直线上的投影长度(如图3所示)，可表示为

图3 基于分离轴的碰撞检测原理Fig.3 Collision detection based on the divided axis

算法首先确定 OBB包围盒的 15个分离轴，分别是包围盒A与B各自坐标系的6个坐标轴，以及其中一个包围盒的 3个坐标轴与另一个包围盒的 3个坐标轴两两叉乘得到的 9个向量所确定的轴．通过将 OBB包围盒分别投影至 15个分离轴上，当且仅当在所有分离轴上式(8)均成立，才可断定两凸面体之间未发生碰撞干涉．

3.2 两圆柱间最短间距的判定

手术过程中，病患体腔内内窥镜与手术器械之间的相互位置关系会根据操作需要不断地进行调整，本文仅以内窥镜杆与某一器械杆为例进行说明，以圆柱分别代表简化的内窥镜及手术器械杆件，则两杆件之间的碰撞检测问题可转化为直线(圆柱轴线)间最小距离的检测问题．设N1、Q1分别为内窥镜杆与器械杆所对应的体表切口位置(圆柱体始端)，N2、Q2分别为内窥镜头与器械腕关节记录点(圆柱体末端)，内窥镜杆与器械杆所在轴线之间的公垂线垂足分别由R与S表示，各点之间坐标关系可表示为

式中µ1与µ2为比例参数．根据µ1与µ2取值的不同，可将两杆件之间的最小距离检测分为以下 9种情况进行分析[18]．

(1) 当 0≤µ1≤1 且 0≤µ2≤1 时，如图 4(a)所示，垂足R、S分别落在线段N1N2与线段Q1Q2上，此时碰撞干涉发生在病患体腔内的内窥镜杆与器械杆之间．

(2) 当 0≤µ1≤1且µ2＜0时，如图 4(b)所示，垂足R、S分别落在线段N1N2上与线段Q1Q2的正向延长线上，此时应归于手术器械脱离内窥镜探照视野的情况进行分析．

(3) 当 0≤µ1≤1且µ2＞1时，如图 4(c)所示，垂足R、S分别落在线段N1N2上与线段Q1Q2的反向延长线上，由于Q1Q2的反向延长线位于病患体外，因而此种情况下不可能发生体腔内的碰撞干涉．

(4) 当µ1＞1且 0≤µ2≤1时，如图 4(d)所示，垂足R、S分别落在线段N1N2的反向延长线上与线段Q1Q2上，与情况3类似，由于N1N2的反向延长线位于病患体外，不可能发生体腔内的碰撞干涉．

(5) 当µ1＞1 且µ2＞1 时，如图 4(e)所示，垂足R、S分别落在线段N1N2的反向延长线上与线段Q1Q2的反向延长线上，此种情况属于体外机械臂的碰撞干涉问题．

(6) 当µ1＞1且µ2＜0时，如图 4(f)所示，垂足R、S分别落在线段N1N2的反向延长线上与线段Q1Q2的正向延长线上，与情况3类似，由于N1N2的反向延长线位于病患体外，不可能发生体腔内的碰撞干涉.

(7) 当µ1＜0且 0≤µ2≤1时，如图 4(g)所示，垂足R、S分别落在线段N1N2的正向延长线上与线段Q1Q2上，此时属于手术器械的正常运动范围.

(8) 当µ1＜0且µ2＜0 时，如图 4(h)所示，垂足R、S分别落在线段N1N2的正向延长线上与线段Q1Q2的正向延长线上，此时并未发生体腔内的碰撞干涉.

(9) 当µ1＜0且µ2＞1时，如图 4(i)所示，垂足R、S分别落在线段N1N2的正向延长线上与线段Q1Q2的反向延长线上，与情况3类似，由于Q1Q2的反向延长线位于病患体外，不可能发生体腔内的碰撞干涉．

图4 两圆柱间最短距离检测Fig.4 Detection of the shortest distance between two cylinders

由上述分析可知，体腔内内窥镜杆与器械杆的碰撞干涉仅发生在0≤µ1≤1且0≤µ2≤1此一种情况下．设两杆的半径分别为r1、r2，此时判断式为

若式(10)成立，则体腔内两杆间碰撞干涉发生，反之则相反．

3.3 点到曲面的距离判定

如图5所示，通常可将内窥镜探照可视区域视为规则的回转体(圆锥体)，手术器械是否位于可视区域内可通过实时监测手术器械末端与可视区域边界的距离得知，因而手术器械末端是否位于可视区域范围内的检测可转化为质点到边界曲面的最小距离检测问题．

设曲面方程为

M0(x0，y0，z0)为手术器械末端点M(xm，ym，zm)在曲面上的投影，则该点处切平面法向量的3个分量可表示为该曲面方程在M0处分别对x、y、z求偏导，即

由此可得切平面方程

则手术器械末端点到曲面的最小距离可表示为

图5 手术器械末端点到曲面的距离检测Fig.5 Detection of the distance from the instrumental endpoint to the surface

4 虚拟夹具的生成

4.1 基于人工势场的辅助力生成

定义好碰撞检测模型后，即可采用相应的方法对机器人执行机构的运动加以约束以主动预防过度操作导致的意外情况发生．Khatib于 1986年提出人工势场法的概念，其基本思想是在机器人工作空间中构造一种由引力场与斥力场共同作用形成的虚拟势场，目标点产生“引力”，障碍物产生“斥力”，从而对机器人的运动加以引导和限制．人工势场法结构较为简单，便于实现底层的实时控制，且可根据实际需求对所生成的势场力参数进行设计修改，在实时壁障和平滑的轨迹控制方面得到广泛的应用．

斥力势场函数与引力势场函数的定义分别为

式中：η与ξ分别为斥力场与引力场的尺度因子；d(q，qobs)在式(15)中表示物体与障碍物之间的距离，在式(16)中表示物体当前状态与目标的距离；d0表示距离阈值，决定了斥力场对物体的作用范围．尺度因子参数对势场值-距离曲线的影响如图6所示．

图6 尺度因子对人工势场的影响Fig.6 Effects of the scale parameter on the artificial potential field

与电势场原理类似，在障碍物所形成的斥力势场作用下，机器人与障碍物之间的距离越近，障碍物对机器人的排斥作用越明显，反之则越小，当物体与障碍物之间最小距离大于 d0时，斥力场对其不起作用．而在目标点形成的引力势场作用下，目标点对机器人的吸引作用随着机器人与目标点距离增大而增大，反之则减小，当物体所受引力势能为零时，表明该物体已到达目标位置．

结合式(15)和式(16)，可分别得出斥力(对斥力场求梯度)及引力(引力场对距离的求导)表达形式为

为避免机器人执行机构碰撞干涉及手术器械末端脱离内窥镜视野范围的情况发生，分别将体外持镜臂易发生碰撞干涉部位、体腔内内窥镜杆及内窥镜视野区域边界视为障碍物设置距离阈值，为机器人划定碰撞预警区域，通过碰撞干涉检测模型可实时获取机器人执行机构与碰撞预警区域的距离．当执行机构位于该区域外时，属于安全操作范围；若进入预警区域，执行机构将受到人工势场生成的斥力，力的方向与物体运动方向相反，从而提醒操作者将执行机构移动至安全区域中．

4.2 代理点Proxy的应用

考虑到内窥镜可视区域的非实体属性，仅依靠势场力的作用仍存在手术器械脱离视野的可能，本文采用虚拟代理点(Proxy)的方法[19]，将手术器械末端以Proxy的方式与主操作手末端建立运动映射关系，其原理如图7所示，假设曲面a为内窥镜可视空间的边界约束面，曲面上方为可视区域下的自由运动空间，曲面下方为可视区域外的禁止运动空间．当手术器械末端处于曲面上方时，主操作手可直接控制机器人执行机构；当手术器械末端处于曲面下方时，Proxy取代主操作手控制机器人执行机构，此时Proxy为手术器械末端在约束面上的投影点，可以用数学表达式描述为

式中：xProxy表示代理点的空间位置；xm表示主操作手通过运动映射直接控制的手术器械末端点位置；x0表示手术器械末端点在约束面上的投影点位置；W 表示内窥镜可视区域．当手术器械末端与可视区域边界距离小于所设定的阈值 d0时，斥力场产生作用阻止手术器械继续向外运动；当手术器械末端到达边界并继续向外运动时，Proxy作为目标点产生引力势场，提醒操作者将手术器械“拉回”可视范围内．

图7 Proxy工作原理Fig.7 Working principle of the Proxy

4.3 两种碰撞同时发生的应对措施

在手术机器人操作过程中，有可能产生以下两种情况：①机械臂间碰撞与器械-可视区域边界碰撞同时发生；②机械臂间碰撞与内窥镜-器械碰撞同时发生．此时由于势场力叠加导致力反馈信息混淆，操作者无法准确地判断运动方向，存在操作轨迹混乱的安全隐患．为防止上述情况发生，设计了相应算法，如下所述．

(1) 由杠杆运动原理可知，当机械臂间碰撞与器械-可视区域边界碰撞同时发生时，斥力方向均指向使手术器械朝安全区域运动的方向，此时仅需其中任一斥力作用即可同时脱离危险区域．当检测到机械臂与手术器械末端同时进入预警区域时，仅触发机械臂处的斥力场产生作用，直至机器人执行机构移动至安全区域．

(2) 采用参考文献[14]的方法，如图 8所示，设A为虚拟夹具上最小距离点所在实时位置，B为对应的手术器械杆上最近距离点位置，P为器械末端点．在器械末端实时速度 VP已知的情况下，可得到B点实时速度为

定义引导力

式中V×BA×AB为垂直于BA的矢量．根据式(17)及式(21)即可求得作用在B点处的斥力与引导力．而器械末端等效斥力与引导力的关系为

当机械臂间碰撞与内窥镜-器械碰撞同时发生时，在两种虚拟辅助力的联合作用下，操作者可控制手术器械绕过内窥镜杆朝原目标运动直至机器人执行机构脱离预警区域．

图8 虚拟辅助力求解方法Fig.8 Method of virtual auxiliary force

5 实验分析

为验证所提出方法的有效性，本文以“MicroHand S”系统机械臂构型作为研究对象，使用Phantom omni力反馈设备作为主操作手，并使用基于openGL图形库，结合SensAble Technologies公司针对Phantom系列设备提供的OpenHaptics® Toolkit软件开发包构建虚拟仿真实验环境．

使用Phantom omni控制机械臂运动流程如图9所示．力反馈设备通过各关节的转动读取操作者手部运动，并将关节运动信息转化为基坐标下的位置和姿态信息，以此为输入经过运动比例缩放后通过从手逆运动学模型计算机械臂所需关节角度，由此建立主从映射控制机械臂执行机构的运动．在模拟操作过程中，操作人员可通过所构建的内窥镜视角实时观察手术器械的运动，同时，由操作环境产生的虚拟力信息可通过力反馈设备使操作人员感知．

本次实验由 6名参与人员完成“逐列套环”任务：如图 9所示，利用主操作手控制虚拟从操作手末端手术器械，按照“1—2—3—4—3—2—1”的顺序将红色圆环逐列从原位置中抓取并放入新的目标位置中．为检验虚拟夹具对遥操作控制的辅助效果，每名实验人员需完成10次该操作任务：前 5次实验环境中不添加人工势场，仅实时监测机械臂执行机构与“障碍物”之间的距离，若监测到发生了碰撞干涉以及手术器械脱离内窥镜视野范围，则中止任务，将机械臂执行机构移至安全操作区域后再继续进行操作；后5次实验则在添加人工势场的环境中进行，将机械臂碰撞安全阈值设为 20mm，内窥镜-器械碰撞及器械-可视区域边界碰撞安全阈值设为 10mm，内窥镜可视区域设为顶角 60°、高 400mm 的圆锥体．实验结束后对操作人员的失误种类、平均失误次数与任务完成平均时间进行统计分析．

图9 仿真实验平台的构建Fig.9 Construction of the simulation experiment platform

在实验初期的测试中，通过主操作手控制虚拟机械臂在添加虚拟夹具的操作环境中随意运动．显然，当机械臂处于虚拟夹具设置的安全阈值范围内时，所生成的斥力势场力会将机械臂“驱离”刚体碰撞干涉区域(如图 10(a)、(b)所示)．由图 10(d)、(e)所示的主、从运动轨迹对比可以看出，当主操作手末端穿越内窥镜可视区域时，手术器械末端则脱离主手而跟随Proxy运动，并且 Proxy在可视区域边界曲面上跟随主操作手运动．图10(c)表示Proxy在边界曲面上运动时主手在禁止区域内引力场作用下的受力情况，此时引力场产生作用将手术器械末端“回拉”．

由表1与表2所示的实验结果统计可知，未添加虚拟夹具环境下，实验人员的平均失误统计次数为圆环掉落(2.5次)、机械臂之间的碰撞干涉(3.67次)、内窥镜杆与手术器械杆的碰撞干涉(1.67次)以及手术器械末端脱离视野(2.67次)，平均完成任务时间为409s；而在添加虚拟夹具环境中，失误种类仅有圆环掉落1种，平均失误2.17次，而平均完成任务时间显著下降(188s)．由此证明，在虚拟夹具的辅助作用下，操作者可有效避免因误操作导致的机械臂执行机构碰撞干涉及手术器械脱离可视区域的问题．整个实验中未出现两个势场力同时生成的情况．

图10 实验测试结果Fig.10 Experimental test results

表1 平均失误次数对比Tab.1 Comparison of the average number of errors

表2 平均完成时间对比Tab.2 Comparison of the average completion times s

6 结 语

本文针对当前机器人辅助微创手术中遥操作控制方式的不足，提出了一种基于虚拟夹具的机器人空间运动约束方法，旨在解决因过度操作导致的机械臂执行机构干涉碰撞与手术器械末端脱离可视区域的问题，并通过实验结果分析验证了所提方法的有效性．该方法通过构建多体间碰撞检测模型对机器人执行机构与可能发生碰撞干涉的目标之间距离进行实时监测，并采用人工势场与虚拟代理点相结合的方式对机器人执行机构的空间运动进行引导与约束，从而辅助医生实施合理的操作动作，在提高机器人辅助微创外科手术操作效率、降低手术安全风险方面具有十分重要的意义．此外，该方法无需构建复杂的几何模型，虚拟夹具的定义方便快捷，对于其他主从操作模式下的微创外科手术机器人系统及类似的人机交互环境具有普适意义．

下一步研究工作包括将上述方法应用于基于实际人体解剖模型的空间对象中，将机器人本体结构约束与不同类型手术下的安全性要求及医生操作需求相结合，提出进一步完善与优化的解决方案．