基于深度学习的前房角开闭状态自动识别

王文赛 邢恩铭 秦鲁宁 周盛 杨军 林松

0 引言

青光眼是导致人类不可逆失明的主要因素之一，预计2040年全球将会有1.2亿人遭受青光眼疾病的折磨，而原发性闭角型青光眼是我国人民致盲的主要原因之一[1]。原发性闭角型青光眼对视野与视力的损害不可逆转，该病早期无明显临床症状，一般是疾病发展到晚期，视野严重缺损时才会发觉。前房角的关闭是导致原发性闭角型青光眼的主要因素，前房角开闭状态的检测是诊断原发性闭角型青光眼的主要依据。

原发性闭角型青光眼的诊断依赖于前房角的形态，眼科超声生物显微镜(ultrasound biomicroscopy，UBM)可以提供高分辨力的房角形态图像，能够实现无损的房角形态检查，广泛应用于青光眼等眼科疾病的临床诊断[2]。前房角UBM图像的分析是半自动化的，临床医生对前房角形态进行判断之前需要识别特定的解剖结构，前房角开闭状态的判断依赖医生的临床经验，不同医生的判断标准存在主观性差异，会对前房角开闭状态的判断准确率产生一定程度的影响；而且在大规模筛查时会占用临床医生较多时间，在导致临床医生疲劳的同时影响诊断效率和准确度。因此前房角开闭状态的图像自动识别研究具有重要的意义。

随着深度学习(deep learning,DL)和计算机视觉的发展，人工智能在医学影像诊断方面取得了重要进展[3]。在眼科疾病诊断方面也有较多的成功应用，如利用深度学习算法对年龄相关性黄斑变性疾病、糖尿病视网膜病变以及青光眼等疾病进行自动诊断[4-6]。在前房角开闭状态的自动识别领域，研究人员大多使用眼前节光学相干断层成像(anterior segment optical coherence tomography，AS-OCT)结合深度学习算法对前房角开闭状态进行自动识别研究[7-8]，而UBM相较于AS-OCT仪器价格相对低廉、不受屈光间质浑浊的影响，适用范围更广泛。目前基于UBM图像的房角状态自动识别的研究工作还很少，限制了UBM的临床和科研用途。

为此本文提出基于深度学习和UBM图像的前房角开闭状态的自动识别方法，为原发性闭角型青光眼的临床自动诊断提供辅助分析。

1 研究方法

1.1 数据集

本文使用的数据集为天津医科大学眼科医院从2017年7月12日至2020年2月20日采集的眼科疾病患者的前房角UBM图像，图像大小为1 024×576像素。UBM设备为天津迈达医学科技股份有限公司生产的MD-300L，所用超声探头频率为50 MHz。

经眼科专家对采集到的图像样本进行筛选与分类，本次实验共选用前房角UBM图像样本1 180幅，其中房角开放图像590幅(包括宽房角和窄房角)，房角关闭图像590幅，每幅图像仅包含一侧前房角，按照6∶2∶2的比例随机设置训练集、验证集和测试集，具体如表1所示。

表1 前房角UBM图像数据集划分

在深度学习分类模型中训练集用于房角开放和房角关闭状态的分类训练，验证集用于监测模型的训练过程，测试集用于测试模型的分类性能。

卷积神经网络的参数训练需要大量的样本数据，如果样本数据过少，深度学习模型容易过拟合，数据增强操作能够提高卷积神经网络的鲁棒性和预防过拟合[9]。

本文数据集仅有1 180幅图像，为预防在深度学习模型训练过程中可能会出现的过拟合，在训练过程中对训练集图像进行了旋转、平移和反转等不影响房角形态的随机数据增强操作，当图像出现部分像素缺失时，使用最近邻插值(nearest)填充方法使图像大小保持不变。图1是房角开放和房角关闭状态的UBM图像。

图1 房角开放和关闭状态的UBM图像

1.2 网络模型

深度学习图像分类领域常用的分类模型有VGG16、VGG19、Xception、InceptionV3和DenseNet等卷积神经网络[10-13]。与自然图像领域的大型公开数据集相比，一般的医学图像数据集样本较少，直接训练深度学习分类模型会导致模型预测精度低且容易过拟合，跨数据集的迁移学习是有效提升模型预测精度和提高鲁棒性的方法。迁移学习指的是将训练好的卷积神经网络参数迁移到新的模型来帮助新模型训练，可以加快新模型参数的优化和收敛，有利于提高模型的泛化能力[14]。

由于本文数据集样本量较少，所以选用基于自然图像数据集ImageNet预训练的VGG16、VGG19、DenseNet121、Xception和InceptionV3网络进行前房角开闭状态的特征提取，然后通过迁移学习来实现前房角开闭状态的自动识别。在迁移学习的实验中，将模型最后一层的输出改为两类，然后冻结模型的卷积基，只开放全连接层的训练，结果表明VGG16网络对前房角开闭状态的识别效果要优于其他网络。

模型微调可以使得迁移学习模型参数更适用于当前的分类任务，进一步提升模型的识别效果。深度学习分类网络模型中靠近输出的层提取的是相对专业化的特征，微调专业化的特征有利于解决新的分类问题。随着微调层数的增加，可训练的参数会大量增加，在小型数据集上过拟合的风险会随之增加。

为进一步提高模型的识别效果，本文提出在VGG16迁移学习的基础上进行模型微调，对VGG16的最后三层卷积层和全连接层进行调整。具体做法是开放最后三层卷积层参数的训练，将三个全连接层减为一个全连接层，并将全连接层的通道数由4 096改设为256。使用本文数据集训练最后三层卷积层和全连接层的参数，这样会使模型更加适用于前房角开闭状态的识别任务。图2是VGG16微调后用于前房角开闭状态识别的示意图。

图2中蓝色箭头代表重新设定图像大小，黑色箭头代表池化操作，block1到block5绿色矩形代表卷积块操作。“64@3×3”中的64代表64个通道，3×3代表卷积核的大小，FC表示全连接层，全连接层中的256表示通道数，浅黄色块表示该部分参数被冻结，蓝色块表示该部分参数可被重新训练。

图2 VGG16微调示意

本文使用的深度学习分类模型均在ImageNet数据集上进行预训练，并在前房角UBM图像数据集上进行了重新训练，模型训练时优化器设置为RMSprop，学习率设置为10-5，batch_size设置为32。训练过程中采用整帧图像作为输入，将图像尺寸调整为预训练模型的默认输入大小。每次实验均训练100个轮次(epochs)。

1.3 评价方法

本文以眼科专家对前房角UBM图像分类为金标准，使用受试者工作特征曲线(receiver operating characteristic curve，ROC)和曲线下面积(area under curve，AUC)作为深度学习分类模型的评价指标。同时使用准确率(accuracy)、精确率(precision)以及F1值(F1 score)对分类模型进行评价。准确率、精确率和F1值的计算公式如下：

(1)

(2)

(3)

式中：TP为真阳性(true positive)；TN为真阴性(true negative)；FP为假阳性(flase positive)；FN为假阴性(flase negative)。

2 结果

2.1 模型评价结果

本文测试集中房角开放和房角关闭图像分别有118幅，以眼科专家的手动分类结果为金标准。

用测试集对本文提出的VGG16微调模型进行测试，结果表明118幅房角开放图像被识别为房角开放的有110幅，被识别为房角关闭的有8幅；118幅房角关闭图像中被识别为房角关闭的有117幅，被识别为房角开放的仅有1幅。测试结果的混淆矩阵如图3所示，通过混淆矩阵的分析可以看出本文提出的模型可以较高的准确率完成前房角状态的识别，而且房角关闭的识别率高于房角开放的识别率，有利于原发性闭角型青光眼的自动诊断。

图3 混淆矩阵

分类模型的评价结果如表2所示，结果显示基于VGG16、VGG19、DenseNet121、Xception和InceptionV3 的直接迁移学习准确率分别为91.95%、90.25%、79.66%、78.81%和75.00%，而VGG16微调模型准确率为96.19%，相较于其他模型有明显提升，在一定程度上弥补了本文数据集中样本不足的问题。VGG16微调模型的精确率和F1值分别为0.963 5和0.961 8，均明显优于其他模型的直接迁移学习结果，表明VGG16微调模型在前房角开闭状态识别过程中对房角开放和房角关闭的区分能力更强，整体表现也更为稳健。准确率、精确率以及F1值的计算结果表明VGG16微调模型相较于其他模型可以更好地完成前房角开闭状态的自动识别。

表2 分类模型的评价结果

图4的ROC曲线图进一步反映了VGG16微调模型和其他网络的分类性能。从图中可以看出VGG16微调模型的AUC值最高，为0.997 3，而基于VGG16、VGG19、DenseNet121、Xception和InceptionV3的直接迁移学习的AUC值分别为0.980 3、0.979 8、0.891 8、0.874 5和0.845 7。表明本文提出的基于VGG16的微调模型实现了更高的分类性能，更适用于本文前房角开闭状态的识别任务。

图4 分类模型的ROC曲线

2.2 模型识别依据

类激活热力图(class activation map，CAM)的可视化技术，有助于了解一幅图像的哪些部分让深度学习模型做出了最终的分类决策[15]。

本文使用CAM技术对测试集中的前房角UBM图像进行可视化定性处理，展示模型识别前房角开闭状态时的主要关注区域。具体做法是将图像输入训练好的VGG16微调模型，得到最后一个卷积层的特征图，用类别相对于通道的梯度对特征图的每个通道进行加权，获得模型在识别前房角开闭状态时的主要关注区域。从图5可以看出，模型在进行前房角开闭状态识别时主要关注的区域是前房角中心区域，与眼科专家对前房角开闭状态的判断依据一致，表明本文提出的网络模型具有良好的可靠性。

图5 房角开放和房角关闭的类激活热力图

3 讨论

UBM作为一种高分辨力的成像方法，不受屈光间质浑浊的影响，能够实现无损的房角形态检查，在临床中广泛应用。基于UBM图像的前房角开闭状态的自动识别有利于原发性闭角型青光眼的临床自动诊断，在临床中具有重要应用价值。

本文基于深度学习方法和UBM图像尝试对前房角开闭状态进行自动识别，微调后的VGG16模型识别准确率为96.19%，AUC 值达到 0.997 3，可为原发性闭角型青光眼的临床自动诊断提供辅助分析。在前房角开闭状态识别过程中，对比了VGG16、VGG19、Xception、InceptionV3和DenseNet等卷积神经网络在本文数据集上迁移学习的结果，结果表明VGG16具有较高的准确率。为进一步提高模型的识别效果，使模型更加适用于前房角开闭状态的识别任务，对VGG16进行了模型微调，实验结果也表明微调后的模型具有更好的识别性能。类激活热力图显示模型识别前房角开闭状态时的关注区域为房角中心区域，与眼科专家的决策依据一致，表明了模型的可靠性。

本文的研究也存在一些局限性，尽管深度学习模型在本文数据集上取得了理想的识别结果，但是由于医学图像采集困难，本文数据集样本量较小，模型的泛化能力还需进一步验证。

4 结论

基于深度学习方法和UBM图像能够以较高的准确率实现前房角开闭状态的自动识别，有利于原发性闭角型青光眼自动诊断技术的发展。未来的研究重点是加大前房角UBM图像的样本量，并继续对卷积神经网络模型进行优化提高模型的识别准确率和泛化能力，使之更好地适用于临床需求。