人工智能深度学习在眼眶病及眼肿瘤疾病诊疗中的应用研究现状△

任章军 余进海 桑泽曦 王耀华 廖洪斐

深度学习代表着当前最先进的图像分析人工智能技术[1]。在医学领域,深度学习已被广泛用于肺[2]、脑[3]、乳腺[4]等多器官系统疾病的检测、诊断、治疗和预后评估等,不仅表现出卓越的准确性还极大减少了临床实践的时间和成本,提升了临床医疗工作效率和患者就医满意度。

眼眶病及眼肿瘤疾病的鉴别诊断、分期分型等临床工作对计算机断层扫描(CT)和磁共振成像(MRI)等成像方式具有明显的依赖性,将人工智能深度学习技术与这些成像方法结合应用,有望提高眼眶病及眼肿瘤疾病的诊断和分期的精确性和安全性。现已有诸多研究将人工智能深度学习应用于眼眶结构的解析以及疾病的诊疗实践。本文对人工智能深度学习在眼眶病及眼肿瘤疾病诊疗中的应用研究现状进行综述,并讨论该技术在这一领域未来的发展前景。

1 人工智能深度学习模型实现方法

人工智能深度学习是通过大数据建模在验证其可靠性和准确性后用于解决特定问题的实践过程,多需要大量翔实的预处理数据对机器学习进行训练及验证,模型构建的实现涉及以下步骤及相关软件。

1.1 数据收集和预处理

可以使用Python和R等工具收集各种来源的数据,例如数据库、API和文件系统;Pandas、NumPy 和 SciPy 等工具可用于对数据进行预处理,以确保其干净、组织良好并可供模型使用,包括清理、规范化和重塑数据。

1.2 特征工程

特征工程是将原始数据转换为对模型更有意义的特征的过程,此过程可能涉及从现有特征创建新特征、选择与模型最相关的特征以及删除有噪声或不相关的特征。

1.3 模型训练和验证

使用预处理的数据和工程特征来训练模型,然后使用一组单独的数据(称为测试集)验证模型,以评估其性能,反复对模型进行调优调整以达到所需的性能。 TensorFlow、PyTorch 和 Keras 等库可用于构建深度学习模型。可以使用Python、R等工具来训练和验证模型,需使用准确性、精度、召回率和 F1 分数等验证指标来评估训练后的模型。

1.4 模型部署

构建深度学习模型的最后一步是将模型部署到生产环境中,可以使用Python、R等工具进行部署。TensorFlow Serving 或 Flask 等库可用于将模型作为 REST API 提供服务。可以使用 Kubernetes 等模型监控和管理工具来监控模型的性能并根据需要进行调整。

1.5 模型评估

可以使用Python、R等工具评估模型在生产环境中的性能,精度、召回率和 F1 分数等指标可用于评估模型随时间的表现情况。

2 深度学习在眼眶病及眼肿瘤疾病中的应用

人工智能深度学习在眼眶病及眼肿瘤疾病中有广泛的应用前景,其实践场景可包括各种疾病的临床数据自动化测量与分割、鉴别诊断、分期分型分度等方方面面。

2.1 自动化临床相关数据测量与分割

2.1.1 眼球突出度

目前,临床眼科广泛使用Hertel眼球突出度计进行眼球突出度的测量,尽管该方法操作简便、结果易得且可重复测量,但它存在显著的个体差异,可能引入较大的误差[5]。Nightingale等[6]系统地回顾了各种用于眼球突出度测量的方法,认为水平位内、外直肌视神经平面的CT扫描测量眼球突出度结果最可靠,但其对扫描层次位置准确性要求较高,并且更耗时费力。因此,Zhang等[7]采用了基于U-net++模型的神经网络进行训练,用于分割CT图像中水平位和冠状位平面上的眼部区域。然后,采用坐标系比较方法提取双眼角膜前表面顶点和眼眶外侧边缘最突出点的坐标,从而计算出眼球突出度,最后与眼科医师手动测量的结果进行了比较,在试验数据集上,该方法显示出令人满意的效率、准确性、可靠性和重现性。

2.1.2 眼外肌形态

眼外肌形态改变在提示甲状腺相关眼病、肌炎型炎性假瘤等眼病方面发挥着重要作用,其相关数据的量化可辅助诊治及评估预后,但对基层非专科医师和初学者而言这项工作颇具挑战性。Hanai等[8]采用深度学习的方法在冠状位上对眼外直肌的粗度进行自动化测量及分类,当出现任一直肌中点厚度测量结果大于等于4 mm时,可被分类为甲状腺相关眼病患者。与眼科医师测量结果的比较表明,受试者工作特征曲线下面积为0.946(95%可信区间 0.894～0.998),也就是说采用深度学习系统可以计算出甲状腺相关眼病患者的眼外肌粗度。但该研究将正常患者与甲状腺相关眼病患者进行比较,虽有一定的参考价值但在实际工作中不能完全将其与肌炎型炎性假瘤等疾病区别开来,仍需辅以甲状腺功能等检查来确诊。

2.1.3 影像学自动分割

肿瘤、创伤、骨折、先天性畸形等因素可引起眼眶壁形变或缺损,如果不及时治疗,甚至会导致明显的视功能障碍[9-10]。眼眶壁分割是眼眶测量和重建的关键[11],但眼眶底和内侧壁由薄壁骨纸板组成,低梯度值使得CT图像模糊区域难以分割,临床上需要眼科医师手工修复费时费力。Xu等[12]提出了一种薄壁骨纸板的自动分割方法,其网络结构采用DenseASPP-RC和在多层面上的采样技术来提取和增强特征;此外,他们还对薄壁眶骨纸板的分割进行监督,减少丢失率,提高了该区域分割的精度。该方案不仅有高度准确性,且每个眶壁的自动分割时间仅为4.05 s,显著提升了临床医师工作效率,减轻了工作负担,在眶骨骨折、甲状腺相关眼病等疾病中有重要应用前景。

在眼眶肿瘤的诊断方面,CT和MRI通常是首选的成像方式[13]。Shao等[14]提出一套端到端的深度学习系统来自动诊断眼眶肿瘤,该系统由U-net和ResNet-34构成,对纳入研究的海绵状血管瘤和淋巴瘤进行检测和分类,研究结果表明,这一基于深度学习的系统能够有效地进行眼眶肿瘤的分割和分类。它可为经验不足的临床医师、非专科医师及基层医师提供辅助诊断,并帮助做出治疗决策。在未来,随着深度学习技术的进步,这些技术有可能帮助诊断不同身体部位的不同肿瘤。

较CT而言MRI能提供更多软组织病变内部的特征,特别是在眼眶肿瘤中能更好显示病变的性质及对周围组织的侵袭情况。Aydin等[15]利用深度学习卷积神经网络对MRI中眼眶及眶周病变进行分割,对眶内肿物进行检测,从而观察MRI图像与病理诊断之间的相关性。较CT而言MRI对眼眶肿瘤的诊断具有更好的提示作用,经验丰富的影像科医师可对MRI上肿物的性质有较明确的诊断。

2.2 在眼眶病及眼肿瘤疾病的应用

2.2.1 眼表肿瘤

眼睑恶性黑色素瘤是一种恶性程度高且发展迅速易向全身转移的眼部肿瘤,其与皮肤良性色素痣有共同起源,难以从肉眼大体外观上进行鉴别,在病理诊断上也存在一定的鉴别难度[16]。因此,Wang等[17]首次将深度学习应用于眼病理学研究,他们对病理切片进行了标记,并将其分割成成千上万的小图像片段,经过预处理和增强后用于深度学习的训练和测试,这一系统能够读取并计算每个小图像片段属于恶性黑色素瘤的概率,并生成肿瘤概率热图。其结果的敏感性、特异性和准确性都令人满意,该技术可以自动检测组织病理切片上的眼睑恶性黑色素瘤,并利用概率热图在全幻灯片上突出病变区域,但该研究存在样本量小的问题,应继续增加样本量进行训练验证和模型更新,并且该技术目前只应用于二元资料,在未来可尝试加入更多类型疾病的病理标本进行升级拓展。Luo等[18]用同样的方法对眼睑基底细胞癌与皮脂腺癌进行鉴别诊断,同样取得了不错的效果,这也进一步验证了该方法可能在不同组织的病理诊断中发挥作用。

Yoo等[19]创新性地将结膜黑色素瘤、色素痣、黑色素沉着病、翼状胬肉的智能手机数字成像照片用于与正常结膜组织的鉴别,低镜头学习(low-shot learning)克服了传统深度学习模型需要大量样本进行建模及验证的局限性,在进行传统训练建模之前,使用线性变换对已有的图像进行充分扩充,利用线性变换增强的图像成功训练了对抗网络模型。该项技术为罕见病、缺乏足够临床资料的小样本研究提供了新思路,具有易于推广和获取的优势,若制成手机程序或软件可为患者自主筛查提供参考,但由于未经病理组织学认证,仅通过摄像照片进行的诊断仍然存在疑问,在未来的研究中,可考虑加入病理学标记或网络医师进行升级完善。

2.2.2 眼眶内肿物

儿童眼眶脓肿通常伴随骨和软组织破坏,可能引发眼眶室内压升高以及中枢神经系统扩散,存在潜在致盲风险。目前,尚无一致的标准用于评估疾病的严重程度并且很难给出好的治疗方案[20]。为解决这一问题,Fu等[21]在经典的U-net网络的基础上开发验证了上下文情境感知的卷积神经网络自动分割眼眶脓肿,并运用迁移学习减少了对大数据集的需求。尽管仍然需要克服建模和验证时样本量不足的挑战,但这项研究已展示出自动分割和定量评估儿童眼眶脓肿的潜力。

眼附件淋巴瘤和特发性眼眶炎症是两种典型的眼眶淋巴增生性疾病[22],病理活检是其诊断的金标准,但可能引起疼痛、感染、肿瘤扩散等多种并发症[23-25]。放射组学是一种基于图像的计算机辅助诊断技术,用于将医学成像数据自动转换为可量化的特征[26]。Xie等[27]从三个不同的磁共振序列中提取多模态放射组学特征,与深度学习技术相结合后可用于自动区分这两种疾病。将放射组学与深度学习相结合可以提高临床决策的准确性、可重复性和效率,同时降低实践成本提高自动化程度,这两者在未来有望共同形成一个统一的临床决策支持框架,从而彻底改变精准医学领域的实践模式。

对发生于鼻或鼻窦等临近组织的肿瘤而言,肿瘤是否侵犯眶内是选择治疗方案的重要标准之一[28]。Nakagawa等[29]研究了深度学习技术在评估CT图像上肿瘤是否侵及眼眶的有效性,两名放射科医师仔细评估了眼眶壁骨破坏的影像学特征、肿瘤边缘与眼眶成分间的关联、肿瘤是否累及眼外肌及肿瘤周围的眼窝脂肪浸润状态等情况,综合构建VGG16深度学习模型。结果显示,在CT图像上卷积神经网络CNN模型可用于判断眼眶周围组织是否受到侵犯。该研究的局限性在于大多数病例未进行手术病理确认,并且未能完全解决肿瘤压迫眼眶等因素可能导致的误诊问题。

2.2.3 眼球内肿瘤

葡萄膜黑色素瘤是成人最常见的原发性眼内恶性肿瘤,目前尚无有效的治疗方法用以应对肿瘤转移[30]。已发生转移患者的中位总生存期为10～13个月,治愈率接近于零,及时有效地进行早期筛查确诊对预后具有重要意义[31]。Zhang等[32]首次使用深度学习方法,以患者的前节照片为基础,使用 U-net 模型自动提取虹膜区域虹膜颜色光谱以筛查可能患有葡萄膜黑色素瘤的患者。该方法在中国人群中展现出出色的筛查效果,但由于虹膜显色存在明显的种族差异,且标准化虹膜显色光照亮度等环境因素挑战的存在,可能影响该方法的广泛推广和应用。

评估肿瘤抑制因子brca1相关蛋白1在肿瘤细胞核中的表达水平可以用于识别葡萄膜黑色素瘤患者中转移风险较高的情况[33]。然而,这种评估受到主观经验和病理切片质量等因素的影响,因此其可重复性相对较差。Sun等[34]使用与前文全幻灯片相似的技术对葡萄膜黑色素瘤病理切片中的肿瘤抑制因子brca1相关蛋白1表达进行了评估,研究结果表明,这项技术的评估结果可以与专业眼科病理学家的诊断结果相媲美。这提示在组织病理学图像分析领域,人工智能深度学习拥有巨大潜力,可辅助评估肿瘤患者预后状况。

视网膜母细胞瘤(RB)是儿童最常见的眼内恶性肿瘤[35]。在RB的治疗中,准确分割眼部结构和肿瘤组织非常重要,临床中经常使用MRI和CT扫描进行标记,通常需要临床医师的协助以确定受影响的区域。为了提供一种简单且精准的分割方法,Strijbis等[36]评估了多场卷积神经网络在RB患者的MRI上自动分割眼球和瘤体的性能,结果表明,与手动描绘相比,卷积神经网络表现出非常高的评估者间可靠性(ICC>0.99)和空间一致性(DSC>0.8)。不同的是,Kumar等[37]在眼底照相基础上使用卷积神经网络CNN模型(AlexNet 和 ResNet50)开发了一种分类器,用于检测RB并将肿瘤和非肿瘤区域进行区分。最终的比较结果显示,该模型的分类性能较现有的其他模型更准确。以上深度学习方法为RB的分割提供了不同的选择,有望提高影像工作者的工作效率并提升分割结果的标准化水平。

2.2.4 甲状腺相关眼病

Graves眼病(GO)又称甲状腺眼病或甲状腺相关眼病,属于自身免疫性疾病,是成年人最常见的眼眶病[38],可引起患者睑裂闭合不全、复视、视力下降及眼球运动受限等情况,甚至可能导致失明[39],目前深度学习技术已经广泛应用于GO的诊断、分级、分期和预后评估等方面。

由于GO可引起患者眼眶及面部外观变化,并导致患者心理状态紊乱,因此患者往往表现出与健康个体不同的面部表情特征。基于此理论,Lei等[40]对患者眼睛、前额、眉毛和面部下半部分的表情进行仔细观察,对每个患者的面部图像特征进行测量标注,将GO患者的面部表情进行详细分组,反复使用小卷积核简化网络,以修正卷积神经网络来训练深度学习模型,对模型进行验证后作者认为可将面部表情列入GO患者的诊断标准中。但由于本研究纳入的数据集样本量较小,无法充分发挥深度学习模型的优势,甚至可能出现过拟合现象,从而限制了模型的性能。

Lee等[41]为克服同时利用冠状、水平和矢状三个平面作为原始输入层时遇到的问题,设计并验证了一种神经网络。该网络由卷积算子和用于双目比较的半深度卷积层组成,与卷积神经网络相比这种卷积算子减少了参数数量,提高了诊断性能,可靠地将中重度、极重度GO患者与正常对照组区分开来,但其在区分轻度GO患者与正常对照组时效果略逊一筹。

评估GO的活动度对疾病治疗方案的制订至关重要,而MRI对活动度的评估具有重要的参考价值,临床工作中对MRI图像的评估常依赖医师的经验积累。为了避免主观误差、经验不足等缺陷以及对MRI进行准确的量化,Lin等[42]采用了一种继承并简化传统VGG16网络结构的算法,该方法具有良好的泛化能力,增加了网络深度,同时减少了梯度消失和梯度爆炸的问题,利用标记后的MRI数据建立了深度学习模型,用于区分患者的活跃期和非活跃期。不同的是,Yao等[43]开发了一种基于眼眶99Tcm-DTPA SPECT/CT图像的两阶段深度学习方法,该方法在区分GO患者活动性方面具有很高的准确性,诊断成本低且检查流程简化。

甲状腺功能障碍性视神经病变(DON)是GO的一种严重并发症,可导致永久性视力丧失[44],及早诊断DON对确定病情的严重程度、制定治疗方案以及改善预后至关重要。根据目前临床专家提供的数据,仍有一定比例的疑似DON患者无法诊断,临床评估的敏感性和特异性较低。Wu等[45]提出了一种混合深度学习模型,利用CT准确识别疑似DON患者。该混合模型由多尺度多注意融合模块和深度卷积神经网络组成,模型能够准确识别可疑DON患者,对疑似DON病例的诊断和预测具有积极意义。

对于极重度GO患者及对外观有要求的患者而言,眼眶减压术在减轻眶内压力及减小眼球突出度等方面具有重要意义[46]。外观的变化是患者考虑手术的重要影响因素之一,因而Yoo等[47]采用术前面部图像作为输入层,使用条件生成对抗网络模型合成术后面部图像。这种新方法以术前图像为基础,因此预测模型的数据处理比较简单,可以提供直观的预测结果,有助于理解手术的潜在影响。但临床医师在审查时发现其合成图像的质量相对较低,因此需要进一步提高合成图像的质量。

2.2.5 眼眶爆裂性骨折

随着生产技术、交通运输及生活娱乐方式的快速发展,由交通和工业生产事故导致的眼眶爆裂性骨折事件逐年上升,如果不及时进行诊断、评估和治疗,可能会导致眼球内陷、眼球运动障碍、复视等一系列持久且难以康复的问题[48]。Li等[49]在CT扫描切片上对骨折区域进行标注,以PyTorch为框架使用Inception V3卷积神经网络构建XGBoost模型,对骨折和非骨折病例进行区分。另外,Bao等[50]还建立了一个基于两个可用深度学习网络(DenseNet-169和U-net)的人工智能系统,用于裂缝识别、裂缝侧识别和裂缝区域分割,分割结果与人工分割具有较高的一致性,为眼眶爆裂性骨折的智能诊断和3D打印辅助手术修复提供了新的工具。二者在建模计算方式等方面存在差异,但都取得了较高准确性。

3 挑战和局限

3.1 缺乏可解释性

深度学习模型因为其难以解释的特性通常被称为“黑匣子”,深度学习算法的内部工作原理复杂且不透明,这使得我们很难理解它们是如何做出决策的,以及为什么它们在某些情况下会失败。这种缺乏透明度的特点可能会导致信任问题,并且还会限制深度学习模型在医疗保健和金融等高风险事件中的应用。

3.2 过度拟合

深度学习模型往往会过度拟合训练数据,导致对新数据的泛化能力较差。对于具有大量参数的深度学习模型尤其如此,这可能使它们容易过度拟合。

3.3 可扩展性和计算成本

深度学习模型是计算密集型的过程,需要大量数据和强大的硬件来训练和执行,这可能是一个限制因素,特别是对于资源有限的小型组织而言。

3.4 数据偏差

深度学习模型的好坏取决于它们所训练的数据。如果训练数据存在偏差或包含噪声,则模型可以学习并延续这些偏差,从而导致错误的预测。

3.5 隐私和安全问题

深度学习模型容易受到隐私和安全问题的威胁。因为它们依赖大量数据来运行,如果数据没有得到适当的保护,它可能会被恶意行为者利用,导致隐私泄露和其他安全问题。

4 结束语

综上所述,基于影像数据的人工智能深度学习,尤其是卷积神经网络在眼眶病及眼肿瘤疾病领域具有广泛的应用前景,其在影像病理诊断及分期、分级、预后预测等方面表现出令人满意的应用效果,但目前的研究及临床应用仍处于起步阶段,需要进一步的研究来充分评估这些技术的潜力。该领域未来的研究可能会进一步涉及开发更先进的人工智能和深度学习技术和效率。