增强现实技术在医疗领域的应用

杜云霄 王殊轶 于德旺

摘 要：增强现实技术将计算机生成的虚拟图形等信息融合叠加到现实世界场景中，使用户看到虚实结合的三维世界，提高用户对现实世界的感知与理解。从手术培训、手术规划与手术导航3个方面介绍增强现实技术在医疗领域的应用，指出在应用中存在手术导航三维注册等挑战，并展望了未来发展方向。

关键词：增强现实技术;医学教育;手术规划;手术导航

DOI：10. 11907/rjdk. 182813 开放科学（资源服务）标识码（OSID）：

中图分类号：TP319文献标识码：A 文章编号：1672-7800（2019）009-0139-04

The Application of Augmented Reality Technology in Medical Field

DU Yun-xiao， WANG Shu-yi， YU De-wang， CHEN Jun

（School of Medical Instrument and Food Engineering， University of Shanghai for Science and Technology，Shanghai 200093，China）

Abstract： Augmented reality is a technology that integrates computer-generated virtual graphics and other information into the real world scene， enabling users to see the three-dimensional world where the virtual and the real are combined to improve their perception and understanding of the real world. This paper introduces the application of augmented reality technology in medical field from three aspects： surgical training， surgical planning and surgical navigation. It points out the challenges such as three-dimensional registration in surgical navigation and looks forward to the future development direction.

Key Words： augmented reality technology; medical education; surgical planning; surgical navigation

0 引言

增強现实（Augmented Reality，AR）技术将计算机生成的虚拟图形等信息融合叠加到现实世界场景中，提高用户对现实世界的感知与理解。Milgram & Kishino[1]最早提出AR的定义——如图1所示的虚拟现实连续体概念：虚拟环境与现实环境在相反的两极，其中现实环境仅由真实对象组成，包括例如通过传统视频显示器看到的现实世界场景内容及不依赖任何电子产品看到的现实场景;虚拟环境仅由虚拟对象组成，比如由计算机模拟生成的虚拟物体;处在两者中间的为混合现实，AR则为虚拟对现实增强的一种状态。

AR技术有三大特征[2-3]：①虚实结合。AR依赖于现实环境，通过对现实环境的跟踪定位，从而将计算机生成的虚拟物体叠加到现实场景中，使虚拟物体与现实环境融为一体;② 三维注册。AR需对现实环境进行实时跟踪定位，确定虚拟物体与现实场景之间的转换关系，通过三维注册的方式，实现虚实结合;③实时交互。用户可以与虚拟模型实时交互，并获取反馈。

国内外已有不少机构开展了增强现实技术在医疗领域的应用研究。AR技术主要运用于医疗领域的医学教育与培训、手术规划及手术导航灯方面。AR医学教育与手术培训使医学生对医学知识及手术过程有更好的学习与理解，AR手术规划使手术规划更加直观且具有较好的交互性，而AR手术导航使外科手术创伤减少，手术时间缩短，手术质量提高。

在国内，侯亦康等[4]对AR导航下颌骨截骨术进行研究，将下颌骨和术前设计的截骨平面虚拟模型输出到术者穿戴的AR头显（Head-mounted Display，HMD）中，然后利用牙模配准方法及模式识别技术，使用ARToolKit软件将虚拟模型叠加到手术视野中，为验证其效果进行了相关动物实验，结果表明AR导航下的下颌骨截骨手术具有极好的指导作用;Qu等[5]将AR手术导航下的牵张成骨术用于治疗半面短小症，使用牙模配准方法并借助ARToolKit等软件将术前规划的下颌角截骨线和下颌骨3D模型注册叠加到手术视野中，并且设置实验组与对照组，验证基于AR手术导航是否能更好地辅助牵张成骨术。实验结果表明，AR导航下的牵张成骨术比传统导航方法的手术结果更加精确;Chen等[6]研究了基于光学透视式HMD的AR手术导航系统，该系统使用基于表面注册的ICP算法与基于基准点注册配准算法，可实现手术器械校准、注册及将显示在HMD中的三维虚拟解剖结构与现实场景严格对齐。实验结果表明，该系统注册精度达0.8mm，可满足临床要求;贺长宇等[7]针对AR手术导航中的光学跟踪易受遮挡影响的问题，提出将光学与惯性跟踪信息进行融合的方法，以保证AR系统注册精度。实验结果表明，该AR导航系统在局部被遮挡时，仍能将虚实融合的手术导航图像反馈给用户;Jiang等[8]将AR技术运用在穿支皮瓣手术导航中，使用ARToolKit软件将术前CT血管造影和重建的虚拟三维血管模型注册叠加到真实患者场景中，此外还为用于注册的识别图设计了螺丝固定支架，以保证术前、术中识别图与患者相对位置一致，进而做到精准注册。随后在3D打印出的血管模型上进行系统误差测试，使用Micron Tracker追踪系统进行相同误差测试，结果显示系统误差为3.47mm。该AR导航系统还被用于动物血管解剖，其结果表明基于AR的NS系统可以在手术视野中实时显示三维个体解剖虚拟模型，从而提供精确的导航信息。

在国外，Strickland等[9]将AR应用于腹腔镜训练中，通过AR技术，学员可以在不透明的腹壁模型中“看到”深部脏器，辅助腹腔镜训练操作。实际操作表明，采用AR/技术使腹腔镜下肝脏切除术的培训时间明显缩短;Abhari等[10]则将AR技术运用于脑部肿瘤切除规划，把肿瘤三维虚拟模型叠加在头部模型中进行手术规划，在AR手术规划环境中，医生不需要在脑海中构建病人大脑肿瘤信息即可直观地看到手术入口及手术路径，并设计相关实验对比传统2D、3D及AR手术规划环境之间的区别。实践结果表明，相比传统2D、3D手术规划环境，AR手术规划环境更直观，尤其对新手医生指导作用更明显;Besharati等[11]对术中患者头部肿瘤的增强显示进行研究，使用视频投影的方式，将带有5个基准点的虚拟肿瘤二维影像数据以人工方式注册到同样带有5个基准点的头部模型中，并测得虚实注册误差为0.8mm，结果表明该AR系统对于头部、头骨和脑表面图像的术中投影准确、可靠，其技术优势在于外科医生能直接看到引导手术的影像;Ntourakis等[12]研究了AR辅助结直肠癌肝转移的定位与切除手术，术前进行计算机断层扫描（Computed Tomography，CT）获取虚拟三维影像数据，并通过人工操作视频混合器，根据自然解剖点将虚拟影像注册到现实场景中，医生通过床边屏幕观看增强现实信息，且将该AR手术导航技术运用到4例临床手术中，成功地切除了肿瘤;Okamoto等[13]研究了AR技术在肝胆手术中的应用，使用视频透视式显示设备获取现实场景信息，再通过光学定位指示器及基于标识点的配准方法，将用以指导手术的虚拟模型叠加到视频透视式显示设备场景中，以患者术中出血量等评估AR导航下的手术效果。实践结果表明，虚拟器官解剖结构能较好地叠加在真实器官上;Mahmoud等[14]将装有摄像头的便携式平板电脑作为显示器，使用视觉即时定位与地图构建技术进行跟踪注册。为评估该系统注册精度，使用带有肝脏的人体塑料腹部模型进行实验，测得肝脏处目标注册误差平均值为6.61mm，底部注册误差平均值为11.8mm，表明距离注册用标识点越远的点注册误差越大;Watanabe等[15]研究了用于神经外科手术的视频透视式AR系统，将脸部自然解剖点作为注册基准点，使用三维动作捕捉系统对病人头部、手术器械、用于显示导航信息的平板进行跟踪定位注册，并设计用于测试精度的十字交叉模型，测得其AR系统精度为1mm，相比传统点对点手术导航，AR手术导航实现了体积导航，使手术导航更加直观;Okamoto等[16]将AR手术导航系统应用于胰腺手术，将器官、血管的自然解剖点作为注册基准点，并通过红外跟踪系统跟踪基准点位置变化，进而实时地将虚拟模型注册到现实场景中，经相关程序计算得出基准注册误差为 5mm，表明该视频透视式AR手术导航系统可提供有用的导航信息;Wild等[17]研究了在腹腔镜外科手术中使用荧光标识物的AR手术导航鲁棒性问题，使用可代谢的荧光标识物，将腹腔镜获取的真实场景和用于导航的3D虚拟模型融合显示在屏幕上，并模拟手术过程可能出现的干扰注册过程。检测结果表明，在各种干扰的情况下该AR手术导航精度均表现较好，可满足临床要求。

AR技术在医疗领域应用广泛，本文从AR医疗教育与手术培训、AR手术规划、AR手术导航3个方面加以介绍，总结AR技术在医疗领域应用中存在的挑战，并介绍未来发展方向，为相关研究者提供参考。

1 增强现实系统实现过程

在医疗领域，AR系统实现过程如图2所示。首先需获取虚拟模型，虚拟模型可以是人体解剖结构或术前规划数据，虚拟模型可由CT、MRI等影像数据进行三维重建得到，此外还需由跟踪定位系统获取现实场景信息;然后将虚拟模型注册到现实场景中，实现虚实融合;最后将虚实融合后的场景在头戴式显示设备或手持式显示设备中显示。其中虚实注册误差在AR手术导航中尤为重要，较大的虚实注册误差会误导医生，而AR手术导航中三维注册技术也是一大难点。此外，虛实信息呈现方式对用户体验影响较大，使用二维屏幕显示AR信息缺少深度信息，相应的头戴式三维显示器可更好地展示深度信息。

2 增强现实技术在医疗上的应用

2.1 教育与培训

将增强现实技术运用到学习系统中具有若干潜在益处。Santos等[18]对AR学习环境是否与传统教育环境的辅助工具一样有效进行研究;Radu等[19]的研究旨在评估AR学习应用的教育潜力，其研究结果表明，增强现实提供了一个更好的学习环境，AR学习工具使学生注意力持续时间更长，并可带来更频繁的师生、生生互动。

AR技术在医学知识与培训手术技巧教学中的应用愈加广泛。Albrech等[20]以AR作为教学补充工具，研究对于医科学生来说，移动AR学习效果是否与教科书学习效果相当。研究结果表明，通过增强现实系统学习比使用教科书学习获得的医学知识更多;Jan等[21]提出在增强现实的医学环境下学习可使学习者沉浸在医学场景中，能调动学习者学习兴趣;Lempp[22]、Winkelmann等[23]的研究表明，使用AR学习工具能够缓解被用作解剖学训练工具的尸体伦理道德问题。

2.2 手术规划

传统手术规划需医生根据患者二维影像数据判定病灶区及需要避开的重要解剖结构等，然后确定手术入口及手术路径，在该过程中需医生构建患者信息，然后在脑海中将二维坐标信息转换为三维坐标信息，从而确定手术入口及手术路径。传统手术规划环境不够直观，且不利于医生之间的交流。使用AR技术将患者的关键信息注册到现实人体模型中，医生无需在脑海中构建患者信息并进行坐标转换即可很直观地确定手术入口及手术路径。在AR环境下进行手术规划误差更小，用时更少且能够减少医生思维负担。

2.3 手术导航

目前已有大量研究者将AR技术应用于手术导航系统中，以探究更加精确、便捷的AR辅助手术导航系统。 精确地将术前准备的虚拟影像注册叠加到目标手术视野范围内是AR辅助手术导航的重要前提。 将术前影像数据注册到现实手术场景中有基于标识进行注册叠加与无标识注册叠加两种方式。其中，基于标识的注册方式标识选取有两种方法：①术前在手术区域附近放置标识或者选取手术区域附近的自然解剖点;②使用追踪系统指示器工具获取现实场景标识点信息，从而获取现实场景坐标信息，以达到虚实融合的效果。

借助AR技术，将术前拍摄的患者3D模型数据注册叠加到患者病灶区，可更加直观地观察病灶区组织结构等信息，避免医生在导航屏幕与病灶区之间的视野转换，从而解决在基于导航系统的手术中手眼不协调问题， 且将术前人体3D模型直接叠加到人体病灶区，可更加直观地展示深度信息。

AR手术导航的关键在于保证术前人体3D模型能够精确地叠加到患者病灶区，给医生提供准确的指导，但人体软组织易变形、光学系统畸变、摄像机标定误差等因素均会引起较大的注册误差;另外深度感知的不完整及较大的系统延时也会对导航效果产生影响，较大的注册误差和不完整的深度感知可能提供错误的导航信息，降低对医生的指导作用。因此，目前AR手术导航的虚实三维注册是一个挑战。

3 评价方法

AR技术在医疗领域的应用广泛，其效果评价也至关重要。在医疗领域主要从两个方面对增强现实技术进行评价：客观定量评价与主观问卷定性评价。客观评价的常用指标有：①EEG信号，用于监测使用者的大脑活动，通过对脑电信号的分析判断AR技术培训效果;②手术或者培训过程中手术入口点与路径，用于判断增强实现技术是否更加有利于手术及培训过程;③虚实注册误差，可分为静态注册误差及动态注册误差，是对虚实目标坐标误差的一种衡量，注册误差值越小越好。常用主观问卷主要有：①任务负担指数量表（Task Load Index，TLX），如表1所示;②主观可穿戴性人因评价标准，包括：舒适等级 （Comfort Rating Scales，CRS）、视觉模拟量表（visual analogue scale，VES）、Borg疲劳量表Borg PRE、Brog-CR10，以评估局部疼痛与不适程度。

4 结语

近年来AR技术在医疗领域的应用愈加广泛，涵盖医疗教育与手术培训、手术规划及手术导航等多方面。尤其在手术导航中，AR技术能够给医生提供更加直观的导航，更精准的AR手术导航能够让手术更加安全、快速地完成，但手术导航的三维注册是一个难点，也是AR手术导航的研究热点，只有实现虚实完全重叠，才能给予医生更好的手术指导。

参考文献：

[1] MILGRAM P， KISHINO F. A taxonomy of mixed reality visual displays[J]. IEICE Transactions on Information and Systems， 1994，77（12）：1321-1329.

[2] AZUMA R T. A survey of augmented reality[J]. Presence： Teleoperators & Virtual Environments， 1997， 6（4）： 355-385.

[3] AZUMA R，BAILLOT Y， BEHRINGER R，et al. Recent advances in augmented reality[J]. IEEE Computer Graphics & Applications， 2001，21（6）：34-47.

[4] 侯亦康，朱明，柴岗，等. 增强现实导航下颌骨截骨术的实验研究[J]. 组织工程与重建外科杂志，2013， 9（02）：98-101.

[5] QU M，HOU Y K，XUA Y R，et al. Precise positioning of an intraoral distractor using augmented reality in patients with hemifacial microsomia[J]. Journal of Cranio-Maxillo-Facial Surgery， 2015， 43（1）：106-112.

[6] CHEN X， XU L，WANG Y， et al. Development of a surgical navigation system based on augmented reality using an optical see-through head-mounted display[J]. Journal of biomedical informatics， 2015， 55： 124-131.

[7] 賀长宇， 刘越， 王涌天. 用于增强现实手术导航系统的光学-惯性混合跟踪方法[J]. 计算机辅助设计与图形学学报， 2016 （3）： 513-519.

[8] JIANG T， ZHU M， ZAN T， et al. A Novel augmented reality-based navigation system in perforator flap transplantation - a feasibility study[J]. ？Annals of Plastic Surgery？，2017（79）：192-196.

[9] STRICKLAND A， FAIRHURST K， LAUDER C， et al. Development of an ex Vivo simulated training model for laparoscopic liver resection[J]. Surgical endoscopy， 2011， 25（5）： 1677-1682.

[10] ABHARI K， BAXTER J S H， CHEN E C S， et al. Training for planning tumour resection： augmented reality and human factors[J]. IEEE Transactions on Biomedical Engineering，2015，62（6）： 1466-1477.

[11] TABRIZI L B， MAHVASH M. Augmented reality-guided neurosurgery： accuracy and intraoperative application of an image projection technique[J]. Journal of neurosurgery， 2015， 123（1）： 206-211.

[12] NTOURAKIS D，MEMEO R，SOLER L，et al. Augmented reality guidance for the resection of missing colorectal liver metastases： an initial experience[J]. World Journal of Surgery，2015，40（2）：419-426.

[13] OKAMOTO T， ONDA S， MATSUMOTO M， et al. Utility of augmented reality system in hepatobiliary surgery[J]. Journal of Hepato-biliary-pancreatic Sciences， 2013， 20（2）：249-253.

[14] MAHMOUD N，GRASA ó G，NICOLAU S A，et al. On-patient see-through augmented reality based on visual SLAM[J]. International Journal of Computer Assisted Radiology & Surgery， 2016， 12（1）：1-11.

[15] WATANABE E， SATOH M， KONNO T， et al. The trans-visible navigator： a see-through neuronavigation system using augmented reality[J]. World Neurosurgery， 2016， 87：399-405.

[16] OKAMOTO T， ONDA S， YANAGA K， et al. Clinical application of navigation surgery using augmented reality in the abdominal field[J]. Surgery today， 2015， 45（4）： 397-406.

[17] WILD E， TEBER D， SCHMID D， et al. Robust augmented reality guidance with fluorescent markers in laparoscopic surgery[J]. International Journal of Computer Assisted Radiology & Surgery， 2016， 11（6）：899-907.

[18] SANTOS M E C， CHEN A， TAKETOMI T， et al. Augmented reality learning experiences：survey of prototype design and evaluation[J]. IEEE Transactions on learning technologies，2014，7（1）： 38-56.

[19] RADU I. Augmented reality in education： a meta-review and cross-media analysis[J]. Personal and Ubiquitous Computing， 2014，18（6）：1533-1543.

[20] ALBRECHT U V，FOLTA-SCHOOFS K，BEHRENDS M， et al. Effects of mobile augmented reality learning compared to textbook learning on medical students： randomized controlled pilot study[J]. Journal of medical Internet research， 2013， 15（8）：182.

[22] VON JAN U，NOLL C， BEHRENDS M， et al. mARble–augmented reality in medical education[J]. Biomedical Engineering/Biomedizinische Technik， 2012， 57（SI-1 Track-A）：67-70.

[23] LEMPP H K. Perceptions of dissection by students in one medical school： beyond learning about anatomy. A qualitative study[J]. Medical Education， 2005， 39（3）： 318-325.

[24] WINKELMANN A. Anatomical dissection as a teaching method in medical school： a review of the evidence[J]. Medical education， 2007， 41（1）：15-22.

（責任编辑：江 艳）