利用深度学习构建自动分类模型以辅助髌骨轴位X线片的图像质控

额·图娅，王岑，黄嘉豪，张耀峰，张晓东，王霄英

髌骨轴位X线片在髌股关节不稳、髌股关节骨关节炎、髌骨纵行骨折等疾病诊断与髌股关节术后疗效评估中具有重要地位。由于髌股关节的解剖和生物力学特点，膝关节屈膝30°时股四头肌松弛，髌股关节相对处于不稳定状态，关节间隙较大，髌骨正好进入股骨滑车，此时拍摄髌骨轴位X线片有助于更好地显示髌股关节情况，是检查髌骨不稳、髌骨骨折等疾病的临床首选影像诊断技术[1]。

近年来，人工智能(artificial intelligence，AI)在骨关节系统方面有较多研究，结果显示AI可获取半定量、定量数据或定性数据提供自动化及标准化的诊断信息[2]，如对膝关节骨关节炎进展具有良好的预测效能[3]，辅助医师对膝关节骨关节炎进行诊断并分级[4]等。然而图像质量对AI诊断或预测模型效能具有较大影响，尤其是在研究初始阶段数据量相对较少时更为突出，因此完成图像性质识别工作是AI诊断或预测模型广泛应用于临床的前提。

本研究旨在利用深度学习方法训练髌骨轴位X线片图像质量控制的自动分类模型，挑选出合格图像输入到后续的AI诊断髌股关节骨关节炎及髌股关节不稳模型中，以保证AI诊断模型的准确性。

材料与方法

本研究获得伦理审查委员会的批准(批件号：[2019(168)])，按照本院人工智能AI模型训练规范执行研究方案。

1.用例定义

根据本院AI训练管理方法，首先定义研发髌骨轴位X线片图像性质分类模型的用户样例(use case)。包括：AI模型的名称(identity document，ID)、临床问题、场景描述、模型在实际工作中的调用流程、模型输入输出数据结构等。模型输出结果自动输入到结构化报告中，激活相应的选项，包括：术后/非术后、右侧/左侧、图像质量合格/不合格。

依据实际临床问题，此图像质控分类模型包括术后/非术后(图1)、侧别(图2)以及图像质量(图3)。侧别模型用以区分右侧及左侧，评判标准为观察内、外侧髌股关节间隙处于图像中的位置，即在右侧图像中内侧髌股关节间隙位于图像的左侧，而在左侧图像中内侧髌股关节间隙位于图像的右侧。图像质量模型以图像对比度及图像显示度进行质量合格与不合格的评估。图像对比度关注拍摄曝光情况，图像对比度差为曝光过度或曝光不足，图像对比度良好则为曝光度适宜。图像显示度关注髌骨与股骨的显示情况，具体包括髌骨后缘关节面、股骨前缘关节面以及髌骨与股骨重合度。若髌骨与股骨有明显重叠、髌骨后缘有多于两条重叠线或髌骨与股骨关节面模糊则为显示度差，反之若髌骨与股骨无重叠、髌骨后缘无明显双边线、髌股关节间隙显示清晰、髌骨与股骨关节面线条清晰则为显示度良好[5]。

图1 a)非术后髌骨轴位X线片；b)术后髌骨轴位X线片。 图2 a)右侧髌骨轴位X线片；b)左侧髌骨轴位X线片。 图3 图像质量分类模型举例。a、b、c为图像质量不合格的髌骨轴位X线片。a)曝光不足，图像对比度差；b)曝光过度，图像对比度差；c)图像显示度差，即髌骨与股骨有明显的重叠、髌骨与股骨关节面模糊；d)图像质量合格的髌骨轴位X线片，即曝光度适宜，且髌骨后缘无双边线、髌股关节间隙显示清晰、髌骨与股骨关节面清晰。

2.研究队列建立

本项研究为回顾性研究，收集本院PACS中符合相应要求的髌骨轴位X线片，由两位专家依据相应标准阅片并分组(表1)，当两名专家意见不一致时则进行协商达成一致。术后/非术后共175例(男76例，女99例，年龄17～88岁，平均65.50±10.47岁)，侧别共735例(男270例，女465例，年龄10～91岁，平均54.40±16.56岁)，图像质量共453例(男171例，女282例，年龄21～87岁，平均58.40±13.87岁)。三个模型的数据有共用。本单位X线机为GE Discovery XR650和Carestream DRX-Evolution，髌骨轴位X线片采取Laurin坐位法拍摄，患者被检测膝部屈膝30°，使中心线对准髌骨下缘由足侧向头侧进行投照。

表1 髌骨轴位X线图像分类模型情况

3.数据处理与模型训练

模型训练硬件环境为GPU NVIDIA Tesla P100 16G，软件包括Python3.6、Pytorch 0.4.1、Opencv、Numpy、SimpleITK等。

训练过程分四步。第一步，训练术后分类模型，深度学习网络为High Resolution Network(HRNet)[6]，输入为髌骨轴位X线片，输出数据为“术后、非术后”的分类预测结果。第二步，对预测结果为“非术后”者，训练分割模型，深度学习网络为U-Shaped Fully Convolutional Network (U-Net)[7]，输入为髌骨轴位X线片，输出为髌骨和股骨区域的标签。第三步，训练侧别、图像质量模型，输入是以髌骨和股骨区域的标签为掩膜(mask)裁切后的图像，输出是“左侧、右侧”和“图像质量合格、不合格”的分类预测结果。第四步，所有分类模型预测的结果自动填写入结构化报告中(图4)。

图4 模型训练过程。

全部模型训练过程包括：图像预处理、分数据集、图像扩增。图像预处理方法包括：图像大小设置、图像裁剪；图像扩增方法包括：随机噪声、平移、旋转、缩放等。数据按8：1：1随机分为训练集(train set)、调优集(validation set)、测试集(test set)。以Adam作为梯度下降优化器。

4.模型评价

以两位专家阅片结果为金标准，应用混淆矩阵(confusion matrix)评价分类模型效能，以符合率(accuracy)为评价指标[8]。

结 果

应用HRNet建立的髌骨轴位X线片图像质控的自动分类模型结果如表2所示。在术后/非术后分类模型中，在训练集及调优集中符合率均为99.3%(135/136)、100%(21/21)，在测试集中符合率为94.4%(17/18)，有1例术后的髌骨轴位图像被预测为非术后。在侧别分类模型中，在训练集、调优集及测试集中符合率分别为99.5%(583/586)、100%(75/75)、98.6%(73/74)；在训练集及测试集中，分别有3例、1例右侧髌骨轴位图像被预测为左侧(图5a)。在图像质量分类模型中，在训练集、调优集及测试集中符合率分别为98.6%(357/362)、93.5%(43/46)、91.1%(41/45)，在上述三个数据集中，依次有4、3、3例图像质量不合格的被预测图像质量合格，1、0、1例图像质量合格的被预测图像质量不合格(图5b、c)。

图5 自动分类模型预测错误的髌骨轴位X线片。a)侧别分类模型在训练集中将右侧预测为左侧；b)图像质量分类模型在测试集中将图像质量不合格预测为图像质量合格；c)图像质量分类模型在测试集中将图像质量合格预测为图像质量不合格。

表2 HRNet模型自动分类不同类别髌骨轴位X线片在测试集中的结果

讨 论

目前AI在全身各系统影像诊断工作中得到了快速发展[2-4,9-11]，但图像质量仍为AI诊断模型效能的重要影响因素之一[12]。因此本研究着重利用AI技术识别不同性质的髌骨轴位X线图像，挑选图像质量合格的数据用于提高AI诊断模型效能。本研究结果显示，HRNet在髌骨轴位X线片不同图像性质甄别上具有良好效能，测试集中预测符合率达到91.1%～98.6%，与其他图像序列甄别的研究结果相似[13-15]。由此可见，此模型直接对接后续AI诊断模型具有可行性。

膝关节假体置换术后的影像评价重点与骨关节炎的评价重点不完全一致。假体置换术后的影像评价要点是：假体位置及力线对位、关节线高度、髌骨位置、骨-假体交界面形态、有无骨溶解等。而骨关节炎的评价重点则是观察髌股关节间隙狭窄、髌骨周缘骨赘形成和软骨下骨硬化情况，明确是否存在髌骨倾斜、髌骨脱位或半脱位和滑车发育不良等情况[1]。本单位髌骨轴位X线检查患者中，髌股关节术后者和骨关节炎者均很多，模型在临床应用的场景是检查后图像由AI判断是否为术后，如为术后则自动调用术后报告模板，如非术后则自动调用骨关节炎和关节不稳报告模板。本研究构建的术后与非术后模型在测试集中符合率为94.4%(17/18)，因此有望在科室范围内开展应用，从而辅助影像医师快速分诊。

在实际临床工作中，可能受多种因素影响而出现影像检查的左/右侧别与申请登记侧别不一致的情况。本研究提出的侧别分类模型在测试集中的符合率为98.6%(73/74)，在临床应用的场景是检查后图像由AI判断图像的侧别，如与RIS中登记的侧别一致，则自动执行后续诊断流程，如不一致可提醒医生给予关注。分析本研究中模型误断的情况，首先是误断率很低，其次误断的图像均有其特殊性，主要表现为有明显内侧不稳合并内侧关节间隙狭窄且间隙窄于外侧(图5a)，从而使得模型将右侧误判为左侧。这种情况下，即使是有经验的医生也不易仅根据图像来判断侧别，需要结合申请单、双侧对照以及其他体位图像来判断。因此，对于侧别分类模型的进一步迭代方向是增加更多有明显关节不稳和骨关节炎的数据，以提高模型在这种特定情况下的符合率。

图像曝光欠佳影响诊断结果，如曝光不足会影响髌骨缘是否有骨赘及髌股关节间隙显示，而曝光过度则会影响髌股关节细节结构显示，这类情况均会影响AI诊断模型特征提取从而降低符合率。髌骨轴位X线片为重叠影像，各组织结构重叠区域小、显示清晰是诊断的基本要求。本单位研发髌股关节骨关节炎模型时发现图像曝光度不良、显示度欠佳是导致诊断或分级误判的主要原因；在髌股关节不稳方面，显示度不佳不仅不适宜后续诸多评价髌股关节不稳指标的测量(如股沟角、适合角等)，也会导致模型学习寻找关节解剖关键点时误判。本研究基于此类问题研发了图像质量甄别的模型，模型在临床应用的场景是先用图像质量甄别模型筛选图像，将筛选出的合格图像输入后续诊断髌股关节炎及髌股关节不稳模型，而筛选出的不合格图像则由人工处理。将来还应研发提高图像质量的模型，对筛选出的不合格图像进行校正使其达到合格图像，可进一步用于诊断。

本研究的局限性主要在于：①基于小样本对不同图像性质进行甄别，后期需进一步扩充数据，整合模型，提高效能，简化流程。只有在真正的临床工作场景中进行研究，才能客观、可靠地评价AI的应用价值[16]。②本研究以医生的主观判断作为图像对比度和显示度的参考标准，当图像特征处于中间状态时判断有一定困难，未来应尽可能将参考标准转换为可定量的指标，以提高数据标注的准确性和一致性。

总之，本研究基于AI技术训练了能够自动区分髌骨轴位X线图像性质的分类模型，有利于工作流程的优化，为后续对接疾病诊断AI模型奠定了坚实基础。