基于迁移学习和数据增强策略构建真菌性角膜炎镰刀菌属鉴定的智能诊断系统

黄光怡，唐宁宁，陈 琦，蓝倩倩，蒋 莉，洪祎祎，吕 健，李 敏，曾思明，徐 帆

0引言

真菌性角膜炎是常见的致盲性眼病之一，在我国其病原菌主要为镰刀菌属(73.3%)和曲霉菌属(12.1%)[1]，疾病的早期诊断和早期治疗至关重要[2-4]。角膜活体共聚焦显微镜(invivoconfocal microscopy, IVCM)检查对真菌性角膜炎诊断的阳性率较高[5-6]。随着深度学习(deep learning)的发展，白内障、糖尿病视网膜病变等眼病[7-9]的诊断模型问世。本课题组前期通过深度学习结合IVCM图像，构建真菌性角膜炎的智能诊断模型[10-11]。但是不同种属的菌丝往往具有相似的形态学特征，IVCM检查难以区分真菌种属[12]，其鉴定方法主要为传统培养。镰刀菌属是最常见的真菌性角膜炎致病菌，临床预后较差[13]，故早期诊断非常重要。本研究结合迁移学习(transfer learning)和数据增强(data augmentation)，采用IVCM图像建模对真菌性角膜炎病原菌镰刀菌属进行智能鉴定，为疾病的早期诊断和治疗提供依据。

1对象和方法

1.1对象本研究回顾性收集了2017-03/2020-01期间在广西壮族自治区人民医院因角膜病行IVCM检查(海德堡HRT III/RCM)的患者76例，收集患者的IVCM图像，共9380张。纳入标准：患眼角膜刮片组织经病原学培养确认为真菌感染。排除标准：(1)检查图像模糊、变形等图像质量欠佳的患者。(2)合并其他可能对真菌性角膜炎造成影响的其他眼部疾病，如甲状腺相关性眼病、并发细菌性角膜炎、病毒性角膜炎、角膜营养不良等。本研究遵守《赫尔辛基宣言》，经医院伦理委员会审核批准(No.KS-SY-2020-1)。

1.2方法

1.2.1图像筛选和分类由广西壮族自治区人民医院3名经验丰富的眼科医师对收集的图像进行筛选，筛选出图像中包含真菌菌丝的图像，当3名眼科医师筛选结果一致时，则认为该图像中包含真菌菌丝；当3名眼科医师筛选结果不一致时，由另一名资历超过15a的眼科主任医师对图像进行审核，最终确定图像是否包含真菌菌丝，通过上述步骤最终筛选出包含真菌菌丝的图像共2157张。将筛选出的图像，根据该患者角膜刮片真菌培养的结果进行分类，分为镰刀菌属、黄曲霉菌、烟曲霉菌、刺盘孢、棘盘孢、毛色二孢菌6类(图1)。

图1 不同真菌菌属的IVCM图像(×800)，可见大量真菌菌丝(箭头) A：镰刀菌属；B、C：其他菌属真菌菌丝。

1.2.2图像预处理将图像统一处理成正方形图像，像素大小为384×384。本研究选取标注为镰刀菌属的IVCM图像共1089张设置为正样本数据集，选取标注为黄曲霉菌、烟曲霉菌、刺盘孢、棘盘孢、毛色二孢菌的IVCM图像共1068张设置为负样本数据集。将正样本和负样本的数据集分别按比例随机划分，并组成训练集(train set)1380张、验证集(validation set)345张和测试集(test set)432张。其中训练集用于对模型进行训练，验证集用于在训练过程中调节模型参数，测试集则用来最终评估模型的预测性能。

1.2.3数据增强为了训练得到一个性能良好的深度学习模型，训练的数据集至关重要，需要大量、丰富、代表性好的数据才能得到识别能力强和泛化能力好的模型。在国内外的研究中发现[14-16]，数据增强策略可以在数据样本有限的情况下，改进模型的性能和泛化能力。本研究对训练集进行数据增强处理，数据增强方法包括垂直翻转、水平翻转、垂直水平翻转(图2)，使训练集数据增加为原来的4倍(表1)。

表1 经过数据增强后各个数据集的数据量大小 张

图2 经典数据增强策略处理后的IVCM图像(×800)，可见大量真菌菌丝(箭头) A：原始图像；A1：垂直翻转；A2：水平翻转；A3:垂直水平翻转处理的图像；B：原始图像；B1：垂直翻转；B2：水平翻转；B3:垂直水平翻转处理的图像。

1.2.4迁移学习构建模型我们使用迁移学习策略搭建神经网络模型，通过比较之前的有关研究[11]，我们选择了性能较好的Inception-ResNet V2模型的网络，保留了在ImageNet数据集上预先训练的前部网络和连接参数，该网络的前部被用作数据集的固定特征提取器，最后的全连接层被移除，然后我们添加了由3个全连接层组成的自适应层在网络的最后，其中自适应层的输入是Inception-ResNet V2前部网络的输出向量，输出是第3个全连接层的输出，其激活函数为SoftMax，构成了完整的训练模型。

1.2.5超参数设置本研究超参数设置如下，在进行训练任务时，数据分批量进行训练，训练批大小(batch size)设置为4，表示一次输入用于模型训练的数据量为4；轮(Epoch)设置为20，这是根据训练过程中训练集损失率和验证集损失率的变化确定的。损失函数选择交叉熵损失函数；优化器采用自适应学习率优化算法(RMSprop)，由于学习率是非常难以确定的超参数，因此我们初始学习率采用默认值0.001，并在后期通过自适应机制在多次训练中不断调整学习率，以确定最终合适的学习率。其它初始参数权重则采用在Inception-ResNet V2网络模型在ImageNet数据集上训练的所获得的权重值，并通过反向传播方法对网络的权重进行微调。

1.2.6评价指标通过计算模型的特异度(specificity)，灵敏度(sensitivity)，准确率(accuracy)，以及绘制受试者工作特征曲线(receiver operating characteristic curve，ROC)，并计算曲线下面积(area under ROC curve，AUC)对模型的预测性能进行评估。其计算公式为

ROC是反映灵敏度和特异度连续变量的综合指标，以灵敏度为纵坐标、(1-特异度)为横坐标绘制成曲线，AUC表示其曲线下面积，一般取值范围为0～1.0，越接近1.0，表示模型的诊断性能越好。

1.2.7试验环境本研究的训练过程是在NVIDIA Tesla T4 Tensor Core GPU上进行的，训练一轮(1个Epoch)平均时间约292s，处理每张图片的平均时间约0.21s。所有模型均使用Keras、Tensorflow2.3实现，程序是用Python编程语言(Python 3.7，Python Software Foundation)编写。

统计学分析：采用SPSS 25.0统计学软件进行数据分析，通过计算模型的特异度、灵敏度、准确率和绘制ROC曲线来反映模型的诊断性能，计算ROC曲线下面积、并与临界水平0.5进行比较，P<0.05表示差异具有统计学意义。

2结果

本研究纳入镰刀菌属的IVCM图像共1089张和黄曲霉菌、烟曲霉菌、白色念珠菌、刺盘孢和毛色二孢菌的IVCM图像共1068张构成原始数据集。结合迁移学习的方法利用Inception-ResNet V2网络模型构建智能诊断系统，该系统的测试结果为真阳性样本154张，假阳性样本62张，真阴性样本156张，假阴性样本60张(表2)，经计算显示该系统的特异度为71.6%，灵敏度为72.0%，准确率为71.8%，AUC为0.785(95%CI：0.742～0.828，P<0.0001)，见图3。

表2 原始数据集模型的预测结果 张

本研究通过数据增强策略对原始数据集进行扩展，使训练集数量增加为原来的4倍，构建增强数据集，并使用相同的方法构建智能诊系统，该系统的测试结果为真阳性样本178张，假阳性样本51张，真阴性样本167张，假阴性样本36张(表3)，经计算显示该系统的特异度为76.6%，灵敏度为83.1%，准确率为79.9%，AUC为0.876(95%CI：0.843～0.909，P<0.0001)，见图3。我们发现通过数据增强策略，该智能诊断系统的诊断效能均较前提高，说明该智能诊断系统对镰刀菌属感染的真菌性角膜炎具有良好的诊断效能，可用于真菌性角膜炎病原菌镰刀菌属的智能诊断。

表3 增强数据集模型的预测结果 张

图3 原始数据集和增强数据集训练模型的ROC曲线。

3讨论

角膜疾病仍然是全世界单眼失明的主要原因，其中感染性角膜炎是引起角膜混浊的主要原因[17]，真菌性角膜炎是我国感染性角膜炎致盲的首位疾病[1]，其处理的关键因素是及时的诊断和正确的治疗[2,18]。我们在之前的研究中利用IVCM图像构建了一个基于深度学习的智能诊断系统，其对感染性角膜炎中真菌菌丝检测的准确率达到96.2%，实现了对真菌性角膜炎的智能识别和早期诊断[10]。真菌性角膜炎的治疗主要为抗真菌药物，目前抗真菌的药物种类较多，研究发现不同抗真菌药物的最低抑菌浓度因真菌菌株而异[19]，因此我们在进行抗真菌药物治疗之前，对致病真菌进行菌株鉴定十分必要。但目前真菌的种属鉴定仍依赖于传统微生物培养，耗时久，无法为疾病的早期治疗提供依据。

在本研究中我们采用IVCM图像，利用深度学习的方法构建智能诊断模型，通过ROC曲线计算模型对镰刀菌属检测的AUC为0.876，说明该智能诊断模型对镰刀菌属的分类效果很好，实现了对真菌性角膜炎病原菌镰刀菌属的智能诊断，为真菌性角膜炎的早期治疗用药提供重要依据。本研究中构建的智能诊断模型的特异度为76.6%，在既往的研究中通过深度学习方法的构建诊断系统对炎症细胞检测的特异度为99.31%[11]，对活化树突状细胞检测的特异度为95.17%[11]，对真菌菌丝检测的特异度为98.34%[10]。我们认为本研究中的智能诊断模型特异度不高的原因可能是因为分辨的任务难度较大，既往研究中的炎症细胞在影像上呈小而明亮的高反射圆点，其特征清晰稳定，易于辨别，而本研究中镰刀菌属和其他真菌菌属的形态学特征相似，在IVCM图像中难以区分，训练任务的难度较大。这也提示我们在临床工作中仍需要结合患者病史、体征等信息进行综合分析，避免误诊。

随着计算机技术的发展和医疗行为中产生的大量数据，深度学习技术在智慧医疗领域的应用日渐成熟，卷积神经网络(convolutional neural network)是典型的深度学习网络模型之一[20]。相比传统的机器学习方法，卷积神经网络可以通过分层自动提取有效特征。在传统机器学习的方法中，比如支持向量机(SVM)[21]等算法，需要对图像进行分类和在图像上标注出病变的区域，而卷积神经网络可以自动提取有效特征的特点，为研究人员节省大量的时间和精力[20]。然而要获得一个准确率高且泛化能力强的卷积神经网络分类模型，依赖于在训练过程中大量图像数据不断的迭代和参数的调整[22]。

但是实际的情况是，我们在临床工作中获得的图像数据往往是有限的，而且进行大批量的图像标注和筛选，需要耗费大量的人力、物力和时间。因此如何利用少量有标签的样本进行训练，建立一个性能可靠的模型对目标任务进行分类和预测是待解决的关键问题。迁移学习的提出正好可以解决这一问题[23]，迁移学习指将在其他领域中学习获得的知识，迁移到不同但是相关的目标领域中，解决新问题的一种新的机器学习方法，目前在计算机视觉[24]、药物发现[25]等领域的应用取得良好的效果。这种迁移得以实现的基础是两个领域需要具有相同的要素，在Zhou等[26]研究中，他们成功地用基于VGG-16的迁移学习模型实现了甲状腺结节超声诊断的应用，获得了较高的准确率。在一项关于青光眼性视神经病变的智能识别的研究[27]中发现使用迁移学习的网络模型具有更好的初始性能，可以在更短的时间内达到收敛，并且相比原始模型而言，迁移学习模型的预测性能表现能更好。但是需要注意的是，并不是所有的迁移都能获得理想的效果，当两个领域共同的因素越少时，迁移的难度越大，甚至可能出现相反的迁移效应[25,28-29]。

数据集对模型的效能有重要的作用[22]，为了充分发挥数据集的作用，以及最大化利用现有的数据集，数据增强是目前应用广泛的一种技术[30]，但目前并没有研究验证过在IVCM图像上是否适用。有研究显示数据增强能够提升深度学习模型的准确性，并减少过拟合[31-32]。在高友文等[33]的研究中，他们通过图像剪裁、镜像变换等数据增强手段，应用AlexNet网络模型对公开数据集进行识别，发现模型的准确率较前提升。在本研究中，我们结合研究的任务和图像的特征，尽可能保留了IVCM图像中菌丝的形态特征，采用了垂直翻转、水平翻转、垂直水平翻转的方式对图像进行处理，使用增强数据集训练的模型AUC从0.785提升到0.876，与之前的研究结果相似，本研究发现数据增强能够提升模型的准确性和泛化能力。此外，有学者提出数据增强的方法并不适用于所有深度学习模型的训练，不恰当的增强方法反而可能会训练出性能欠佳的模型[34]，因此，我们选择数据增强手段的时候需要结合本身数据集的情况灵活运用。

我们采用迁移学习联合数据增强的方法构建出智能诊断模型，实现了对真菌性角膜炎的病原菌镰刀菌属的识别，为眼科医师的临床诊疗工作提供重要依据。相比传统的形态学、生物学和病理学检查方法，IVCM检查可以直接多层次立体地观察角膜结构的细胞图像，省去传统组织切片、固定和染色等步骤，为无创性检查，更利于检查的广泛开展，本研究中结合深度学习构建的神经网络模型实现了对IVCM图像病原菌进行智能诊断，可以即时的提供真菌性角膜炎患者的致病真菌的鉴定结果，相比传统的角膜刮片镜检、角膜刮片培养等检查更快速、方便和经济，对真菌性角膜炎的临床治疗具有重要的意义，也为病原菌的鉴定提供了新方向和新思路。

此外，本研究也具有一定的局限性，表现在如下方面：(1)本课题组仅在真菌性角膜炎的IVCM图像上研究了这个问题，可以在更多的应用场景进行验证。(2)样本的收集工作均在同一家医院完成，未来应进一步进行多中心的研究和验证，另外本研究样本量有限，未来研究将进一步扩大样本量，增加数据异质性，从而训练泛化性更强的模型。(3)本研究实现了对真菌性角膜炎病原菌镰刀菌属的识别，相比传统真菌培养，虽然耗时短，但是无法进一步进行药敏试验，为抗真菌药物的选择提供准确科学的依据，因此，真菌培养试验对感染性角膜炎的诊治仍然具有重要作用。(4)在进一步的研究中，我们将结合多模态诊疗模式，以期可以进一步改进模型的性能和泛化能力。

本研究结果显示结合迁移学习和数据增强策略构建的智能诊断模型，可以提高模型的效能，具有较高的准确性，实现了对真菌性角膜炎病原菌镰刀菌属的智能诊断，有助于更早地判断致病真菌的菌属，可以快速及时地为医生提供诊断依据，对真菌性角膜炎的早期治疗具有重要意义。