基于深度学习的自动静脉穿刺机器人研制

董丽丽，王燕青，刘遥峰，蒋振东，徐婷婷，邓赛姣

（1.解放军总医院第一医学中心，北京 100853；2.解放军总医院第五医学中心，北京 100071；3.航天科工智能机器人有限责任公司，北京 100074）

0 引言

传统的静脉穿刺多采用肉眼辨认或触摸静脉进行，这种“盲法”穿刺多依赖于操作者的经验和手感，易引起穿刺失败。据统计，在目前的临床工作中，静脉穿刺失败率高达20%[1]。对于以化疗作为主要治疗方法的肿瘤患者，化疗药物对血管、组织损伤较大，使得患者静脉穿刺更加困难，同时肿瘤患者身体虚弱，反复静脉穿刺可能会引起浅静脉壁瘢痕出现，进一步加大再次穿刺的难度[2]。因此，如何提高一次穿刺的成功率，避免反复穿刺给患者尤其是肿瘤患者带来的不适，是患者、家属及医护人员关注的重要问题。超声辅助穿刺被证明是一种有效的静脉穿刺引导技术[3]，而自动化医疗设备具有重复性好、精度高的优点，一些机构结合两者优势开展基于超声等医学影像引导的自动化穿刺设备的研究。目前国内报道过用于胸部穿刺活检的辅助装置[4]及腹腔穿刺装置[5]，但适用于静脉采血的机器人研制起步较晚，北京迈纳士公司和上海迈鹊公司近年来研制了适用于静脉采血的机器人，但是国内尚未有成熟的专用于静脉穿刺的自动化设备[6-7]。美国VascuLogic公司研制了一款用于静脉抽血的机器人，采用血管显像仪和平面内超声辅助引导穿刺，但受限于血管显像仪仅能对浅静脉（深度小于10 mm）进行穿刺[8-9]。总体而言，目前适用于静脉穿刺的机器人主要面向医院、社区浅静脉采血，不能满足化疗穿刺置管类操作的使用要求，且多采用四轴、六轴机械臂，体积较大、移动不便，不适用于肿瘤患者床旁静脉穿刺需求。

本文设计一种适用于静脉穿刺的机器人，穿刺深度可达15 mm，通过深度学习目标检测技术和图像处理技术结合手动静脉穿刺经验，自动定位测量血管，引导进针结构进行穿刺，装置角度连续可调。整机设计紧凑便携，可降低对静脉穿刺操作者的技术要求并提高一次穿刺成功率[10]，满足床旁静脉置管与采血的穿刺使用需求。

1 自动静脉穿刺机器人设计

1.1 技术要求

1.1.1 机构设计要求

机构设计是自动静脉穿刺机器人设计的基础，执行机构设计上应尽量简洁轻巧、方便拆卸与安装，固定部件要尽可能满足更多的用户。同时，要根据临床穿刺运动特性选择适合的传动系统和驱动系统。

1.1.2 运动功能设计要求

自动静脉穿刺机器人最基本的要求是根据临床操作规范完成穿刺动作，实现穿刺动作涉及到若干个自由度，需要有针对性地选取关键自由度进行功能定位及自由度设计。

1.1.3 安全性要求

安全问题是自动静脉穿刺机器人设计过程中的一个重要方面。自动静脉穿刺机器人直接对人体进行穿刺操作，必须严格遵照临床穿刺的基本动作和安全性的要求设计，除了考虑机器人的功能实现外，还要防止对患者肢体造成损伤。合理、人性化的设计首先要从硬件上体现对安全的考虑，然后在控制算法上利用软件控制机械装置的运动，实现对穿刺对象的多重保护。

1.2 总体方案

1.2.1 系统组成

自动静脉穿刺机器人主要由输入单元、处理器、控制器和执行机构组成，如图1所示。由B超机采集图像作为设备输入，处理器由上位机及其软件构成，控制器由微控制器STM32F103及电动机驱动器构成，执行机构主要由控针电动机、偏置电动机、俯仰电动机组成。

1.2.2 工作原理

操作者将穿刺装置和穿刺固定装置安装好，按照静脉血管的大致位置，将患者上臂放入穿刺固定装置中，对气囊进行充气，从而固定患者手臂，根据B超主机传回的图像数据由人工手动使用遥控器调整偏置结构选择合适血管置于穿刺线上，定位好穿刺姿势。图像处理器根据B超主机传回的图像数据，计算靶血管的深度和内径[11]。控制器根据血管深度和内径通过机器人运动学解算自动计算进针角度以及进针距离，进针结构的电动机驱动针体开始穿刺。在进针过程中二次检测图像数据分析计算穿刺位置偏差值，控制器根据偏差值决定是否需要调整，如果需要调整就自动计算需要调整的进针角度，驱动俯仰结构的电动机完成穿刺针角度调整，继续进行穿刺操作。在准确到达靶血管中心位置穿刺成功后，进针结构电动机停止运动，然后按需求完成其他操作。最后进针结构电动机驱动针体后退，回到原点并停止运动，完成整个穿刺流程。

图1 自动静脉穿刺机器人系统总体组成

1.3 机器人本体设计

机器人本体主要包括穿刺固定装置、穿刺装置和B超探头等，实物如图2所示。

图2 静脉穿刺机器人实物图

1.3.1 穿刺固定装置

穿刺操作开始前穿刺针相对于靶血管的位置至关重要[12]，不固定穿刺针和靶血管的相对位置容易造成进针偏差，难以控制穿刺质量和成功率，因此设计一套穿刺固定装置，固定穿刺部位的同时便于操作。如图3所示，穿刺固定装置由支撑结构和气囊组成，采用圆环型设计，外圈为支撑结构，内圈附着气囊，穿刺之前给气囊充气。

图3 穿刺固定装置

1.3.2 穿刺装置

穿刺装置包括偏置结构、高度调节结构、俯仰结构、进针结构以及其他连接部件，共计4个自由度，各由一个相应的电动机驱动，如图4所示。偏置结构主要用于穿刺针角度的调整，解决因靶血管偏移引起的穿刺角度错误的问题；高度调节结构用于调整B超高度，适应不同臂围；俯仰结构主要用于穿刺针入针角度的调整；进针结构主要用于控制穿刺针的运动速度、加速度和运动距离；其他连接部件主要用于穿刺装置的安装和固定以及针头的导向固定。

图4 穿刺装置

1.3.3 B超探头

B超探头主要用于靶血管位置信息的获取，采用索诺星无线掌上超声，该设备便携易用、成像效果较好，可满足使用要求。

1.4 机器人控制系统设计

1.4.1 总体方案

控制系统组成如图5所示，上位机和下位机之间自定义数据通信协议，上位机发送初始化命令、进针调节信息给下位机，下位机返回确认信号并通过光电编码器采集电动机速度、加速度信号，通过驱动器闭环控制电动机运动。

图5 控制系统组成图

整个穿刺过程分为以下2个阶段:

第一个阶段为穿刺准备阶段。该阶段针头并未进入皮肤表层，主要依靠人工对针头的偏置初始位置进行微调，即通过手控器控制偏置结构电动机调整穿刺线（针头轴向位置）位于血管的中线上。

第二个阶段为穿刺阶段。该阶段针头开始进入皮肤表层并最终插入血管到达指定位置，主要依靠超声图像以及电动机实时反馈的位置信息对针头位置进行调整。在针头逐渐接近靶血管的过程中，由B超监测针头的实时位置并将位置信息反馈给主控芯片，主控芯片通过二次检测对比针头及血管的位置，分析出针头偏移血管的偏移量并将偏移量分解为电信号发送给进针结构电动机、偏置结构电动机和俯仰结构电动机，最终使得针头准确插入血管。

1.4.2 控制器选型

下位机微控制单元选用STM32F103芯片，工作频率72 MHz，拥有高速存储器和丰富的端口、定时器资源，耐温-40～85℃，具备省电模式，适用于电动机驱动、控制，医疗和手持设备等应用领域，能满足设计需求[13]。上位机采用微型工控机作为软件平台，搭载i9-8700 CPU作为处理单元。

1.4.3 电动机控制方法

为提高系统的控制精度，采用带编码器的步进电动机，通过主控芯片STM32F103对3个电动机进行闭环控制[14]。

主控芯片采用比例-积分控制方法实现对电动机的速度、位置双闭环控制。在实际穿刺过程中，电动机启动之后，主控芯片收到上位机下发的角度、位置信号后解算成电动机脉冲数作为控制的目标量，并根据穿刺阶段设定速度、加速度目标量，控制芯片通过比例、积分方式减小电动机实际速度、位置与目标速度、位置的差值，进一步提高控制精度。

1.5 上位机软件设计

1.5.1 软件框架

软件运行基于Windows 10操作系统，运行框架为.Net 4.6.2。上位机人机交互界面、控制程序框架设计与实现基于.Net平台，采用C#语言开发实现。超声图像采集接口由第三方提供，通过C#封装直接调用。图像处理算法和深度学习模型前向传播网络采用C++实现，封装成动态链接库（dynamic link library，DLL）由主控程序直接调用。

在完成系统初始化之后，每一个功能模块都开辟一个相应的线程，同时按照相应线程处理的任务在整个系统中的重要情况设定相应的优先级，以满足系统即时响应的需求。本系统涉及到的4个线程优先级从高到低依次为通信线程、数据处理线程、图像接收线程和显示线程。具体软件框架如图6所示。上位机与下位机主控芯片STM32F103通信收发数据，并接收超声图像信息，根据数据通信协议对图像进行处理显示，或者发送穿刺角度、深度信息给下位机进行控制。

图6 软件框架图

1.5.2 软件工作流程及界面设计

做好穿刺准备工作后，系统初始化。由人工操作选择合适血管，上位机软件收到确认信号后处理图像获得血管的最大内接圆圆心及内径，然后计算进针角度和深度信息发送给下位机，并在进入皮肤和接近血管时二次检测纠正偏离。如果检测出现异常，则系统暂停，进入异常处理流程，由人工解除异常报警。

上位机界面如图7所示，包括超声设置、显示穿刺线、偏置调节、高度调节、图像显示等功能。

图7 上位机界面

1.5.3 基于深度学习Faster-RCNN算法的血管目标检测

传统目标检测算法的特征选取依赖人工经验，而深度学习提出了一种自动选取目标特征的方法，在模型建立过程中学习特征，减少了人为设计特征造成的不完备性。Faster-RCNN是一种比较成熟、应用广泛的深度学习目标检测算法。本装置基于医院获得的临床超声血管影像大数据，在经验丰富的医护人员指导下进行标注获得高质量的血管数据集，通过Faster-RCNN算法训练获得血管模型文件，程序运行时通过DLL读取模型文件，经过前向传播网络对实时超声图像进行检测，获得血管候选框，超声图像检测速率可达0.3 s/张，对临床超声图像血管粗定位结果如图8（a）所示。

1.5.4 基于自动阈值分割的血管测量算法

基于深度学习检测候选框获得血管图像感兴趣域后，还需对血管进行精确定位及测量。超声增益及组织血管差异性问题会导致血管图像的灰度分布不一致，采用传统二值化阈值分割不能有效提取血管轮廓，大津算法能自动计算图像背景和目标的最佳阈值，实现图像自动分割。经过开运算处理后能有效提取血管轮廓，对所提取的轮廓中心区域，选取临近的3个点向上下2个方向进行遍历，查找灰度突变像素，确定血管的上下边缘，计算血管内径，如图8（b）所示。

图8 血管定位与测量

1.6 安全保护系统设计

安全保护系统包括智能自动保护和人工手动保护，具体设计如下:

（1）智能自动保护:可识别固定姿态和运动角度等，当穿刺针运动超出设定值的情况下，机器安全保护系统将自动启动，即刻停止机器运转，保证患者不受伤害，并发出报警，在医护人员重新调整后方可继续进行。

（2）人工手动保护:当患者在穿刺时出现不适情况，患者或医护人员均可立即按下急停装置，停止穿刺，并进行紧急处理，防止危险发生。

2 实验验证

2.1 体模穿刺实验

体模采用Blue Phantom（USA）超声穿刺训练体模，如图9所示，具有4条静脉分支。采用20G穿刺针（Introcan Safety，德国），如图10所示。临床经验一般穿刺到血管下2/3处穿刺成功率较高，因此根据图像处理得到的血管内接圆圆心及内径，计算血管内接圆竖直方向内径下2/3点作为穿刺点。选择内径3 mm、中心深度10 mm血管重复8次实验。

图9 体模示意图

图10 穿刺针示意图

2.2 结果

以血管中心为原点，目标穿刺点坐标约为（0，-0.5），穿刺到位结果如图11（a）所示，实验穿刺点分布如图11（b）所示，最小外包圆中心坐标为（0.051 5，-0.448 5），半径为0.173 69 mm，说明穿刺重复性和准确度较高，基本能满足应用要求。但穿刺点整体分布偏向血管右侧，可能是结构设计误差造成，由于超声外壳结构不完全对称，组装后穿刺针轴心偏向超声右侧，造成穿刺点整体偏向一侧。

图11 体模穿刺实验

3 结语

本文设计的基于深度学习的自动静脉穿刺机器人充分运用了人工智能、机器人等技术，使得静脉穿刺变得方便、有效和可靠，既可避免穿刺时误入动脉、刺穿血管或误伤周围组织等弊端，又提高了一次穿刺的成功率，减少了穿刺次数及置管并发症的发生，可较好地应用于医院、重大灾害或军事救援中。虽然本文提出的工程样机设计基本能满足穿刺精度和可重复性要求，但是目前在血管初步选择上仍需要靠人工选择，下一步拟通过人工智能技术进一步减少人为干预。