基于深度学习的睑板腺功能障碍图像分析模型研究和评价

张祖辉，于新新，林晓蕾，傅亚娜，戴 琦

0引言

随着现代人工智能(artificial intelligence, AI)技术的高速发展，AI图像自动识别技术在不同领域的实践和应用已逐渐开展，医学领域也不例外，AI图像识别技术在眼科中的应用日趋成熟[6]。基于CNN的AI系统可以克服前述人工标注的问题，具有速度快、准确率高、重复性好的优势，已广泛应用于人脸识别、文字识别、图像检索等多个领域[7-8]，对于物体识别、图片分类的准确率可以接近甚至优于人工分析方式[9-10]，且成本大幅降低，是目前医学诊断当中最火热和最具有前景的发展方向。

本文拟探讨以基于卷积神经网络(convolutional neural network, CNN)的AI模型构建的图像识别系统应用于睑板腺红外照相图片处理。借助AI的运算能力优势，快速准确地识别出睑板腺的腺体。同时在AI的辅助下，提出全新的睑板腺萎缩形态定量指标——睑板腺密度(MG density)并验证其有效性。

1对象和方法

1.1对象研究对象选取2021-01/11在温州医科大学附属眼视光医院杭州院区就诊的145名受试者，研究选取受试者的右眼。其中60名为随机选择，收集其睑板腺照相用于AI训练。另招募85名受试者，包括阻塞性MGD患者53名和睑板腺正常的志愿者32名，以AI系统对其进行分析。阻塞性MGD患者均由两位经验丰富的眼科医生根据眼部症状、睑缘异常和睑板腺评分进行诊断，如果满足以下3个标准中的任何一个，则患者被诊断为阻塞性MGD：(1)眼部症状评分≥3分；(2)睑缘评分≥2分；和(或)(3)睑板腺评分≥3分[11]。排除标准：(1)患有眼部疾病或已知影响眼前节解剖结构情况的患者，如有眼部炎症、眼部手术史、配戴隐形眼镜和(或)外伤史；(2)有影响睑板腺功能的全身用药史的患者；(3)患有任何其他已知会影响泪膜的眼部疾病或全身性疾病者。本研究经温州医科大学附属眼视光医院医学伦理委员会审批通过，所有受试者均签署知情同意书。

1.2方法

1.2.1图像处理使用眼表分析仪拍摄60名随机受试者右眼上下眼睑的睑板腺图像作为AI模型训练。训练图像中的睑板腺均由两位高级职称医师手动标注，取其平均值。

1.2.2AI系统的的建立本研究使用的CNN结构是基于U-Net模型，并借助迁移学习的方法将ImageNet预训练好的模型和参数应用到我们的U-Net模型中。残差网络(ResNet)在图像分类和目标检测方面都有非常好的性能。通过改进原生U-Net模型，然后将50层的ResNet(ResNet50)替换U-Net的下采样部分，上采样部分保持不变，建立ResNet50_U-Net模型。网络结构见图1。

2）“橘子采摘节”，早橘成熟的季节和十一长假相遇，到该地旅游的游客较多，可以根据相应的情况，在采摘园中举办一些相关的旅游活动（如橘子DIY制作活动、“橘子采摘活动”），吸引游客的关注度，提高游客的重游率。

图1 AI模型的网络结构。

由于原始训练图片数据集只有60名受试者，虽然达到了U-net网络的训练门槛，但是对于训练一个深度卷积神经网络而言数据仍显不足，因此我们调用了一个功能强大的开源数据增强库imgaug(https://github.com/aleju/imgaug#citation)来对训练图像进行多维增强。在训练中的每一次迭代均会在受试者上睑的原始训练图像中随机选取4张，调用imgaug随机使用算法和参数对输入图像进行增强，产生4张新图片。最终版本的模型在全部训练中共迭代61440次，产生245760张新图片作为训练数据集，数据量完全满足了训练一个深度卷积神经网络的需求。训练完成后通过改变模型的目标区域提取，睑板腺分割AI模型无需重新训练即可应用于下睑睑板腺图像处理。

在模型的计算过程中，所有输入的图片都会被缩放到288×896像素的大小，然后输入到模型中，最终预测的图片会恢复到原始图片的大小。因此，如果原始图像的大小远远大于288×896像素，则预测结果图像中的腺体可能出现锯齿状。我们需要对结果图像进行高斯滤波，以获得更平滑的腺体。在得到图像的预测结果后，再通过OpenCV提供的传统图像处理方法提取预测图像中的每根睑板腺。提取步骤描述如下：(1)对图像进行中值滤波；(2)将图像二值化；(3)在图像中找到睑板腺的轮廓。如果两个等高线之间的垂直距离很小，则认为这些等高线属于同一个睑板腺并且是连接在一起的。睑板腺照相的原始图像经过图像预处理增强后，再经ResNet50_U-net预测滤波后得到平缓的睑板腺腺体。再与手工标注结果做比较(图2)。

1.2.3睑板腺功能评价指标

1.2.3.1眼表疾病指数眼表疾病指数(ocular surface disease index，OSDI)[11]：所有受试者均接受OSDI问卷和眼部症状问卷调查。

1.2.3.2症状评分根据出现的MGD相关的眼部症状的数量(眼疲劳、分泌物、异物感、干燥、不适感、黏稠感、疼痛、溢泪、瘙痒、发红、沉重感、眩光、过度眨眼和睑板腺囊肿或睑腺炎)，对症状从0～14分进行评分，分数越高，说明症状越明显。

1.2.3.3泪河高度泪河高度(tear meniscus height，TMH)：使用眼表分析仪测量泪河高度并进行睑板腺红外拍照，TMH测量方法采用眨眼5s后测量下眼睑中央TMH，正常值在0.20mm左右。

1.2.3.4泪膜破裂时间泪膜破裂时间(tear film break-up time，TBUT)和角膜荧光素染色(corneal fluorescein staining，CFS)[12]：滴入荧光素后进行CFS和测定TBUT。TBUT测定3次，取其平均值，正常值为>10s。CFS评分标准如下：在5个区域(中央、颞、鼻、上、下)评估角膜荧光素染色(0个点=0分，1～5个点=1分，6～15个点=2分，16～30个点=3分，>30个点=4分)；如果发现融合染色，染料扩散到周围的上皮或基质，则根据融合区域的数量或角膜丝状物的存在进行评分(一个融合区域，加1分；两个或两个以上融合处，加2分)，染色评分范围为0～20分，分数越高，说明角膜上皮损伤越重。

1.2.3.5睑缘评分根据黏膜交界处前后移位、血管充盈、睑板腺孔堵塞、眼睑边缘不规则4项参数对眼睑边缘异常进行评分，每项评分0～4分，分数越高说明睑缘异常程度越大。

1.2.3.6睑板腺分泌能力评分[13]0分：清亮的睑脂容易排出；1分：轻微压力下排出混浊的睑脂；2分：超过中等压力下才能排出混浊的睑脂；3分：即使很大的压力下也无睑脂排出。睑板腺检查器(meibomian gland evaluator, MGE)评估下眼睑15个腺体分泌物的数量和质量。每个眼睑睑板腺分泌能力评分范围为0～45分，分数越低说明睑板腺分泌功能越接近正常。

1.2.3.7睑板腺评分睑板腺评分(meiboscore)[5]：0分：无萎缩；1分：萎缩面积<1/3睑板总面积；2分：萎缩面积介于1/3～2/3的总睑板面积；3分：萎缩的>2/3的睑板总面积。将上下睑的睑板腺评分相加，得到每只眼睛的睑板腺评分范围从0到6，分数越高，说明睑板腺萎缩越严重。

1.2.4睑板腺密度睑板腺密度(MG density)：计算每根睑板腺的面积(Smg)(以像素为单位)，然后用每个睑板上所有腺体面积总和与睑板的面积(St)做对比，公式如下:

2结果

本文采用IoU这一指标对睑板腺识别模型的准确率进行评价，最终，经过4h的训练，在同一份训练和原始验证样本中，IoU提升到了92%，训练完成。系统重复率达到100%，并且效率极高，在使用gtx1070 8G的GPU的情况下，分析一张睑板腺图像仅仅需要100ms。将85名受试者的85只右眼纳入AI自动分析研究。MGD患者及正常组的临床参数比较见表1。经年龄校正后的MGD组患者的MGD相关症状评分明显高于正常组，差异有统计学意义(P<0.001)，OSDI评分明显高于正常组，差异有统计学意义(P<0.001)。MGD组TBUT明显低于正常组，差异有统计学意义(P<0.001)。与正常组相比，MGD组患者CFS实际参数值分布较高，但两组中位数都是0(0，0)，然而矫正年龄之后，差异有统计学意义(P=0.021)。睑板腺状态，包括睑缘评分、睑板腺分泌能力评分和睑板腺评分，在MGD患者中明显比正常组更严重，差异均有统计学意义(均P<0.001)。两组受试者上眼睑、下眼睑和总眼睑的睑板腺密度和睑板腺评分比较，差异均有统计学意义(均P<0.001)。对于人眼难以区分的更复杂的图片，该模型显示出优秀的识别能力，见图2，表2。研究结果表明，上眼睑的睑板腺密度与OSDI(rs=-0.320,P=0.003)、TBUT(rs=0.484,P<0.001)、睑缘评分(rs=-0.350,P=0.001)、睑板腺评分(rs=-0.749,P<0.001)和睑板腺分泌能力评分(rs=0.425,P<0.001)显著相关。下眼睑的睑板腺密度与OSDI(rs=-0.420,P<0.001)、TBUT(rs=0.598,P<0.001)、睑缘评分(rs=-0.396,P<0.001)、睑板腺评分(rs=-0.720,P<0.001)和睑板腺分泌能力评分(rs=0.438,P<0.001)显著相关。总眼睑的睑板腺密度与OSDI(rs=-0.404,P<0.001)、TBUT(rs=0.601,P<0.001)、睑缘评分(rs=-0.416,P<0.001)、睑板腺评分(rs=-0.805,P<0.001)和睑板腺分泌能力评分(rs=0.480,P<0.001)显著相关。其中上眼睑的睑板腺密度(rs= -0.749)、下眼睑的睑板腺密度(rs=-0.720)及总眼睑的睑板腺密度(rs=-0.805)与睑板腺评分呈显著的负相关(均P<0.001)，见图3。

图2 睑板腺照相的原始图像经过图像预处理增强后，再经ResNet50_U-net预测滤波后得到平缓的睑板腺腺体与手工标注结果比较 A、D:原始图片;B、E:手工标注腺体(绿色部分);C、F:机器标注腺体(黄色部分)。

表1 两组受试者临床参数比较

表2 两组受试者睑板腺密度与睑板腺评分比较 M(P25,P75)

图3 睑板腺密度与睑板腺评分相关性 A：上眼睑睑板腺密度与上眼睑睑板腺评分的相关性；B：下眼睑睑板腺密度与下眼睑睑板腺评分的相关性；C：总眼睑睑板腺密度与总眼睑睑板腺评分的相关性。

3讨论

目前，由于现有医疗资源在人力、物力方面等因素限制，我国MGD诊断仍存在部分医师诊疗水平较低、估算粗略片面等问题，不利于MGD和干眼诊疗精细化和规范化的开展[14]。基层眼科医生需要一种简单方便、高效快捷、分析成本低，社会效益高的干眼和MGD相关指标的标准化评估方法。

其中的重要指标之一是睑板腺形态分析[4,15-16]。本研究通过提出全新的睑板腺形态定量评价指标——睑板腺密度，比较正常组和MGD组睑板腺密度的差异。结果显示，MGD组患者睑板腺密度较正常组明显减小。与之前的研究[17-19]相似，本研究中AI系统显示睑板腺萎缩程度与OSDI、眼表症状、泪膜稳定性、睑缘评分和睑板腺分泌能力均相关，说明睑板腺形态与功能存在密切联系。与以往的研究[5,20-22]不同，本研究中AI系统能够准确地得到睑板腺的缺失面积，获得睑板腺密度这一连续性的定量指标，减少了由于睑板腺评分这一定性分级指标在分级过渡区附近的误差而导致的分级系统的不一致性和可变性。睑板腺密度与睑板腺评分高度线性相关，且AI系统分析得到的睑板腺密度与OSDI、眼表症状、泪膜稳定性、睑缘评分和睑板腺分泌能力均相关，说明睑板腺密度可以代替睑板腺评分作为MGD诊断的有效指标。但是，如果想要在人工分析中采用我们的这种睑板腺分析方法是不现实的，因为这种分析方法需要大量的标注，不可能作为常规的评估指标。但是AI系统的特点恰恰适合这种需要大量分析工作的任务，因此我们的这种睑板腺分析方法只能在AI的帮助下才能实现并应用于临床。

本研究通过一个基于CNN的AI系统，达到了使睑板腺密度指标在临床工作中实用化的目的。该系统可以自动分析睑板腺的形态，极大地提高分析的准确性和效率，降低分析的成本，克服了人工标注主观上的误差。我们通过三代网络模型的迭代[23-24]，借助迁移学习的方法将ImageNet上预训练好的模型和参数应用到我们本研究中的第三代模型：ResNet50_U-Net模型中。通过这一方法有效地降低了样本量的需求，尽管这个研究的样本数量相对较少，最终对睑板腺形态提取的准确性仍然较高(IoU=92%，重复性=100%)。目前我们仅使用一张GTX1070 GPU已经可以在100ms内处理一张睑板腺图片，随着算力的提高，使得数万幅图像在毫秒内同时完成分析成为可能。我们正在准备更大的训练数据集来支持更复杂的模型，如ResNet101[10]，FCN32[25]，SegNet[26]和PSPNet[27]，从而进一步提高腺体识别的准确性。

本研究也有局限性。研究中使用的ResNet50_U-net混合网络，是CNN的一种。CNN倾向于将像素损失最小化。像素损失最小化策略补全矫正了腺体密度这一指标，较人工标注更为准确。但同时也导致靠的比较近的腺体之间无法自动分割，发生了黏连，从而被判断为一根腺体。这会导致除了睑板腺密度以外的、跟单根腺体形态有关的如腺体的数量、弯曲度等指标的失实，导致在我们前期研究中已被证实在早期MGD诊断中有效的睑板腺弯曲度(MG tortuosity)[28]在本研究中失去了作用。如果能够对算法进一步的发展，增强腺体的分割能力，则睑板腺形态识别有望获得更高的准确率。数据增强库imgaug能够部分改变原始图像的大量信息，是可以用于深度学习网络训练的，并且大大减轻了标注的工作量。但它仍然无法改变图片的一些基本信息，比如腺体的个数、密度等，因此不能完全替代全新的标注图片，未来我们的深度学习模型想要再进一步提升准确率，需要更多的全新图片进行训练。此外，本研究的样本量也较小，未来的研究中，我们团队将招募更多的受试者来训练和测试AI系统。

综上所述，基于CNN的AI系统是一个准确、高效的睑板腺形态学评价系统，能够方便地采用我们建立的睑板腺密度这一指标对MGD患者的睑板腺形态进行快速准确的评价。睑板腺密度这一指标比目前通用的睑板腺评分更精确，是评价睑板腺萎缩程度的全新定量指标。