计算机辅助多模态融合超声诊断乳腺良恶性肿瘤

王 彤，何 萍，苏 畅，崔立刚，林伟军*，王心怡

(1.中国科学院声学研究所超声技术中心，北京 100190；2.中国科学院大学，北京 100049；3.北京大学第三医院超声诊断科，北京 100191；4.北京大学肿瘤医院暨北京市肿瘤防治研究所乳腺中心恶性肿瘤发病机制及转化研究教育部重点实验室，北京 100142)

乳腺癌是女性发病率较高的恶性疾病[1]，早期诊断与治疗对于提高生存率具有重要意义。传统乳腺超声安全性及实效性均较高，已广泛用于临床，但操作者依赖性亦较高。乳腺癌等病灶的弹性信息与其生理信息及病理改变密切相关[2]。近年超声弹性成像技术不断发展[3]，通过获取组织弹性信息进行成像，对比度较高，可为早期诊断乳腺肿瘤提供较为准确的依据[4]。另一方面，深度学习(deep learning，DL)在图像领域中迅速发展[5]，其中卷积神经网络(convolutional neural network，CNN)可直接学习输入图像数据，提取输入样本的高层次特征结构，获得更能代表图像属性的相关特征[6]。HAN等[7]通过GoogLeNet卷积神经网络识别7 408幅超声乳腺图像，准确率可达90%。超声灰阶声像图所示病灶形态、方位及边缘等对鉴别诊断乳腺良、恶性肿瘤有一定帮助，而超声弹性成像提供的肿瘤组织弹性信息可从一定程度上反映组织病变情况。本研究以CNN提取常规超声与超声弹性图像特征，并行多模态融合，评价其诊断乳腺良、恶性肿瘤的性能。

1 设计与方法

1.1 数据 图像来源于2011年10月—2012年4月309例于北京大学第三医院经病理证实的女性乳腺肿瘤患者，年龄11～85岁，平均(40.0±19.0)岁；采用Hitachi Vision Preirus/Samsung RS80A超声诊断仪，线阵探头，频率5.0～13.0 MHz，应用应变弹性成像机制，共采集404幅图像，其中良性肿瘤224幅，恶性肿瘤180幅。

1.2 实验环境 64位Ubuntu18.04、NVIDIA GeForce GTX 1080显卡、Intel Core i7-7700 3.6GHz处理器，基于Tensorflow的Keras DL框架。

1.3 单模态分类 采用端到端CNN DenseNet121[8]网络模型，分别于单模态下行乳腺肿瘤灰阶图像及弹性图像分类，以图像为输入项，通过训练数据样本有监督地学习特征后分类，并与其他CNN如VGG16[9]、InceptionV3[10]及Resnet50[11]等进行对比。

1.4 多模态融合

1.4.1 基于灰阶图像与弹性图像 所获弹性图像为在常规灰阶图像上叠加一层超声弹性彩色图形成的复合彩色图像，通过预处理模块，利用复合图像的线性叠加关系等单独提取纯弹性图像。设计多模态融合网络，利用CNN DenseNet121分别提取灰阶图像和弹性图像特征，采用直接串联方式融合其特征，最后利用两层全连接层进行分类(图1A)。

图1 多模态超声融合模型诊断乳腺良、恶性肿瘤示意图 A.构建灰阶图像与弹性图像融合模型；B.构建灰阶图像与弹性比值融合模型

1.4.2 基于灰阶图像与弹性比值 由2名具有5年以上乳腺超声诊断经验的超声科医师测量并计算弹性图像中肿瘤区域、周围腺体或脂肪的应变以及肿瘤区域与周围乳腺或脂肪组织的应变比，以平均值作为结果。弹性文本数据为附加特征，可直接与灰阶图像特征进行融合(图1B)。为避免预测结果被部分特征值主导，对弹性比值数据进行归一化处理并映射到[0,1]区间，标准化公式为：

(1)

原始弹性比值数据为x1,x2,…,xn，假设第i个数据为xi，则其归一化后的值为yi。

1.5 数据集划分及扩充 以五折交叉验证法评估网络模型的分类效能，随机将获取得到的乳腺超声图像数据集按3∶1∶1比例分为训练集、验证集和测试集。训练过程中对训练集数据进行在线数据增强，以解决过拟合问题；考虑到图像的临床属性，仅以缩放、随机裁剪及水平翻转方式扩充训练集数据。

1.6 训练方法 利用训练集对模型进行训练，并以验证集实时检验模型在训练中的状态和收敛情况。采用ReduceLROnPlateau函数监控验证集损失(Loss)优化训练过程，动态下降学习率。初始学习率设置为0.000 3，以交叉熵(cross entropy)作为目标优化函数。最后以测试集数据评估训练后模型的诊断效能，取五折测试集结果的平均值为最终结果。

1.7 评估标准 根据敏感度、特异度、准确率及F1值量化评估分类模型的性能。绘制受试者工作特征(receiver operating characteristic，ROC)曲线，计算曲线下面积(area under the curve，AUC)，以进一步评估模型的诊断效能。

2 结果

2.1 单模态分类 4种模型中，DenseNet121模型对于灰阶超声图像的分类性能最优，其对训练集的分类准确率达88.05%，敏感度为90.19%，特异度为85.17%；该模型对超声弹性图像的分类性能亦最优，准确率、敏感度和特异度分别为92.13%、91.69%和92.63%，且对弹性图像的分类效果优于灰阶图像。见表1、2。

表1 不同模型基于灰阶超声图像鉴别乳腺良、恶性肿瘤的效能

表2 不同模型基于超声弹性图像鉴别乳腺良、恶性肿瘤的效能

2.2 多模态分类 灰阶图像与弹性图像、灰阶图像与弹性比值2种融合模型中，前者鉴别乳腺良、恶性肿瘤的性能更优，准确率为93.51%，敏感度为94.88%，特异度为92.25%，AUC达0.975，F1分数为0.931，见图2及表3。

表3 不同模型鉴别乳腺良、恶性肿瘤

图2 不同模型鉴别乳腺良恶性肿瘤的ROC曲线

3 讨论

计算机辅助超声诊断乳腺肿瘤是医学领域研究热点。本研究采用DL相关方法，利用灰阶图像与超声弹性信息进行多模态特征融合，以提高诊断能力。超声设备所显示的弹性图是在常规灰阶声像图上叠加一层超声弹性彩色图所形成的复合彩色图像，其中夹杂B型超声的灰阶明暗信息，可能影响弹性色彩相关特征的表达。本研究利用复合图像的线性叠加关系及RGB通道映射等关系提取单纯超声弹性图像，并证实所用方法未损失彩色弹性图像信息；所利用的弹性信息不仅包括弹性图像，还包括乳腺肿瘤区域与正常组织的弹性数值比，以直接表达病变组织的弹性信息[12-14]。

本研究多模态融合结果显示，无论是融合了灰阶图像与弹性比值的模型还是融合了灰阶图像与弹性图像的模型，其分类表现均优于单独输入灰阶图像，证实融合多模态超声特征对鉴别诊断乳腺良、恶性肿瘤具有较高价值；同时，不同信息融合对于整体分类效果的影响有所不同，灰阶图像与弹性图像融合模型的分类效果优于灰阶图像与弹性比值融合模型，原因可能在于弹性比值这一特征较超声弹性图像以颜色表现整体软硬程度而言有所欠缺，故其诊断效能虽较单模态超声灰阶图像有一定提升，但幅度有限。

既往何萍等[12]利用超声弹性成像辅助进行乳腺影像报告和数据系统(breast imaging reporting and data system，BI-RADS)分类，有助于鉴别诊断乳腺良、恶性肿瘤，但敏感度与特异度偏低；MOON等[15]先分割肿瘤，再结合计算机辅助设计(computer aided design，CAD)剪切波弹性图像特征(平均组织弹性及像素标准化最小距离)和B型超声声像图的CAD特征(形态和纹理)鉴别良、恶性肿瘤，但敏感度欠佳；SONG等[16]结合超声灰度图像与剪切波弹性定性特征(四色模式)和定量特征(弹性均值、弹性最大值、标准差、弹性比值)诊断良、恶性肿瘤，特异度较高，而敏感度和准确率均有限。本研究提出的多模态特征融合方式对超声诊断乳腺肿瘤的敏感度、特异度及准确率均有所提升。

总之，计算机辅助多模态融合有助于提高超声对乳腺良、恶性肿瘤的诊断效能。