高光谱成像和深度学习技术辅助黑色素瘤诊断的计算机模型国内外研究进展

邱越 胡熙敏 雷婉婷 何蓉

摘要：恶性黑色素瘤确诊常是晚期，死亡率高。近年来，高光谱图像辅助医学诊断的计算机模型研究逐渐增多。该文综述了高光谱成像和深度学习技术辅助黑色素瘤诊断的计算机模型在国内外研究的进展。

关键词：黑色素瘤;高光谱成像技术;深度学习

中图分类号：TP18      文献标识码：A

文章编号：1009-3044（2022）15-0128-02

1 背景

恶性黑色素瘤（Malignant Melanoma， MM）源于表皮黏膜上皮组织基底细胞间的黑色素细胞上，常见于皮肤，也见于黏膜和内脏器官。黑色素瘤的发病率的年增长率为3%～5%[1]，恶性黑色素瘤占皮肤恶性肿瘤的第三位。恶性黑色素瘤除早期手术切除外，缺乏特效治疗，预后差。因此，恶性黑色素瘤的早期诊断和治疗极其重要，对黑色素瘤的诊治越早越好，能延长患者存活时间，有效降低死亡率。皮肤黑色素瘤多数由黑色素痣发展而来，84%来自良性痣[2]。临床诊断中，对黑色素痣的早期恶变程度进行监测及判断主要采用“ABCDEF”法則，即非对称（Asymmetry），边缘不规则（Border irregularity），颜色改变（Color variation），瘤体直径（Diameter）大于6毫米，隆起（ Elevation）和奇特（Funny look），该法则虽然简单，但误诊率高，准确率无法得到保证。活体组织检查是诊断的“金指标”，医生往往会结合肉眼观察和活检的病理组织观察得出结论。活体组织检查通过普通显微镜观察染色病理样本，只可以观察到图像的二维空间特征，病理样本组织的形态特征难以观察，且周期长、成本高。随着染色剂的使用，操作过程的差异也会使制得的病理样本不同，且尚无辅助工具对染色样本提供更详细的定量分析。因此，单靠肉眼诊断和常规活检，无法有效提升诊断的准确度和效率。另外，活体组织检查由于是入侵性检查，会给病人带来一定痛苦。

2 高光谱成像技术简介

随着计算机技术的发展，检测和分类皮肤病变的算法也有所增加。基于传统 RGB 图像、皮肤病变检测和分类的计算机辅助诊断系统似乎达到其性能的上限，而高光谱成像作为一种新兴技术，可能会改善系统性能。高光谱成像技术具有以下优点：光谱范围广、分辨率高，除了记录物质的空间信息，还记录了物质的光谱信息，能探索超出人眼能力的光谱区域，具有较大的研究价值[1]。国内外学者对高光谱成像技术做了大量研究，Li等人[3]提出了一种用于高光谱图像分类的广义复合核机的开发框架，该框架在复杂分析场景中有最先进的分类性能;魏峰等人[4]提出一种基于矩阵分解的算法，对高光谱数据进行特征提取。近年来，高光谱图像能为临床应用提供辅助诊断和预后信息，吸引了越来越多基础科学和临床领域研究人员的研究兴趣 [4] 。Akbari等人[5]收集了猪的动脉和静脉高光谱图像，然后使用支持向量机分类器对猪动脉静脉的高光谱图像进行了分类，该系统还可以帮助外科医生找到血管，确定血管是否异常。Akbari 等人[6]从高光谱成像系统收集了前列腺癌鼠的病理切片高光谱图像，提取和评估了在癌组织和正常组织中光谱特征，使用最小二乘支持向量机对前列腺癌病理切片的高光谱数据进行分类，并使用空间解析方法突出癌症与正常反射特性的差异，来增强对癌组织的检测。这些研究结果表明，高光谱成像技术可以作为一种新兴的非侵入性，定量的辅助医疗检测技术手段，在医学疾病诊断领域中有一定的发展前景。

3 高光谱成像技术辅助黑色素瘤诊断

早期发现和正确切除恶性黑色素瘤的原发病变，对于预防恶性黑色素瘤，减少与黑色素瘤相关的死亡至关重要，基于高光谱成像技术的黑色素瘤早期检测的自动化筛查系统得到了一定的研究和发展。根据不同组织的光谱特征，设计分类算法对黑色素瘤和其他皮肤类型进行自动分类。Nagaoka等人[7] 提出使用基于高光谱数据的皮肤色素分子水平的黑色素瘤鉴别指数，获得皮肤病变的光谱信息变化特征，并利用这些特征，开发了一个高光谱黑色素瘤筛查系统，能区分黑色素瘤与其他色素性皮肤，该系统灵敏度和特异性分别为90%和84%。Tsapras 等人[8] 结合高光谱相机系统和光谱分类算法，对发育不良痣和黑色素瘤进行分类，另外，还收集了正常组织和黑色素瘤的高光谱图像，使用光谱角度映射器算法，用正常皮肤区域收集的光谱为参考光谱，并与从病变组织中获得的光谱进行比较，构建了一个动物黑色素瘤诊断模型。两者的敏感性和特异性都为77%。Zherdeva[9]等人提出一个用于体内高光谱的皮肤肿瘤分析系统，对黑色素瘤和其他癌症类型进行分类，系统的敏感性和特异性分别为63%和72%。高光谱成像技术还可与显微成像技术相结合，从微观层面对图谱合一的高光谱图像进行分析。王婷等人[2]利用激光共聚焦扫描显微镜图像，基于小波变换提取黑色素瘤的纹理，使用分类和回归树（CART）算法对黑色素瘤和良性痣进行分类，提高了黑色素瘤早期诊断的准确率，并降低了良性痣的误诊率。Ornberg等人[10] 使用高光谱显微成像系统对组织切片进行高通量彩色图像分析，为病理学组织切片的分析提供维度信息更丰富。

4 深度学习在辅助黑色素瘤诊断中的应用

4.1 深度学习

近年来，深度学习作为机器学习的一个子集得到了快速发展。与传统的机器学习需要手动提取特征并考虑领域专业知识不同，深度学习可以自动提取特征。深度学习是一种由多个处理层组成的计算模型，通过将输入信息转换为具有简单但非线性模块的多个抽象级别[11]， 来自动学习数据的表示。通过这些转换，深度学习模型将自动地学习到一个非常复杂的函数，从而使深度学习可以自动提取图像特征，对图像进行智能分析。

4.2 深度学习辅助黑色素瘤诊断模型

随着人工智能的发展，深度学习越来越多地用于医学图像的分析。一些研究已经将深度学习方法应用于黑色素瘤识别。Tognetti等人[12]收集了979张非典型黑色素细胞性皮肤病的皮肤镜图像，临床数据和相关组学数据，建立深度卷积神经网络模型对非典型黑色素细胞性皮肤病进行分类，准确率为90.3%，有效地支持皮肤科医生高精度地鉴别非典型痣和早期黑色素瘤。Hekler等人[13] 在分类组织病理学黑色素瘤图像时，使用卷积神经网络模型分类达到平均敏感性、特异性、精度分别为76%、60%和68%，相比之下，11个病理学家对非典型黑色素细胞性皮肤病进行分类，达到平均敏感性、特异性、精度分别为51.8%、66.5%和59.2%，他们认为，在组织病理学黑色素瘤图像的分类上，他们构建的卷积神经网络模型优于11个组织病理学家，人工智能能协助医生对黑色素瘤进行诊断。RDS等人[14]使用基于U-Net的卷积神经网络，自动对皮肤肿瘤进行分割，并使用支持向量机分类器对黑色素瘤和良性病变图像进行分类，准确度为85.19%，他们认为，在深度学习环境中，U-Net的分割算法是分割医学图像的最好方法，有助于提高分类性能。Esteva等人[15]使用了经过预训练的GoogleNet 和Inception V3组成的体系结构，并对模型进行了迁移学习。在判断黑色素瘤时，皮肤科医生的平均表现低于他们构建的深度学习模型的ROC曲线的水平，只有一名皮肤科医生的表现优于该模型的ROC曲线。表明在这项研究中，基于卷积神经网络构建的深度学习模型比皮肤科医生有更高的准确性。

4.3基于高光谱成像技术和深度学习的黑色素瘤诊断模型

随着高光谱成像和深度学习技术的发展，出现了将两者结合起来，应用到黑色素瘤的辅助诊断中。Räsänen等人[16]对26例色素性病变（10例色素性基底细胞癌、12例原位黑色素瘤、4例侵袭性黑色素瘤）进行了高光谱成像和病理学检查，然后，使用卷积神经网络分类器鉴别基于高光谱图像的色素沉着基底细胞癌和黑色素瘤。系统灵敏度为100%（95%置信区间81%～100%），特异性90%（95%可信区间60%～98%），阳性预测值94%（95%可信区间73%～99%）。说明卷积神经网络分类器可以在高光谱图像中区分黑色素瘤和色素基底细胞癌。Hirano等人[17]使用高光谱成像器获取高光谱数据，这些数据包含有关波长和位置的信息;使用Imagenet预先训练一个称为Googlenet的深度学习模型;并使用一个称为“Mini Network”的网络层，将具有84个通道的高光谱数据转化为3个通道的数据，输入到Googlenet模型中，并使用619例病变（包括278个黑色素瘤病灶和341个非黑色素瘤病灶）训练并评估所建的深度学习模型，该模型的敏感性，特异性和准确度分别为69.1%、75.7%和72.7%。

5 讨论

本文综述了高光谱成像技术，深度学习在黑色素瘤上的应用和高光谱成像与深度学习技术相结合用于黑色素瘤的辅助诊断。高光谱技术辅助诊断黑色素瘤也存在一些缺点：如存在数据冗余，从大量数据中提取有利信息以及在数据校准校正、数据压缩、降维、数据分析等方面都存在一定难度。目前，很多学者仍在研究高光谱图像数据处理的方法;目前，仍然缺乏大型、高质量的高光谱皮肤病变的数据集图像[18]，未来的研究应为目标人群开发大型数据库，该数据库应该包含黑素瘤患者的病例数据、皮肤图像、组学数据和诊断结果等，从而训练更有针对性的算法模型，确保算法模型的可靠性，提高算法对辅助诊断黑色素瘤的准确率和可泛化程度;也有必要扩展当前的分类方法，搭建、改进各种深度学习模型，使用高光谱图像的所有时空信息，将高光谱成像技术应用于更多生物医学和临床领域。

参考文献：

[1] 黄怡.基于显微高光谱成像的皮肤黑色素瘤识别方法研究[D].上海：华东师范大学，2018：20-21.

[2] 王婷，后桂荣，张宁，等.基于激光共聚焦显微镜图像的黑色素瘤计算机辅助诊断算法研究[J].中国医学影像学杂志，2013，21（2）：130-133.

[3] Li J，Marpu P R，Plaza A，et al.Generalized composite kernel framework for hyperspectral image classification[J].IEEE Transactions on Geoscience and Remote Sensing，2013，51（9）：4816-4829.

[4] 魏峰，何明一，馮燕，等.基于矩阵分解的高光谱数据特征提取[J].红外与毫米波学报，2014，33（6）：674-679.

[5] Akbari H，Kosugi Y，Kojima K，et al.Blood vessel detection and artery-vein differentiation using hyperspectral imaging[J].Annual International Conference of the IEEE Engineering in Medicine and Biology Society IEEE Engineering in Medicine and Biology Society Annual International Conference，2009，2009：1461-1464.

[6] Akbari H，Halig L V，Schuster D M，et al.Hyperspectral imaging and quantitative analysis for prostate cancer detection[J].Journal of Biomedical Optics，2012，17（7）：076005.

[7] Nagaoka T，Nakamura A，Okutani H，et al.A possible melanoma discrimination index based on hyperspectral data：a pilot study[J].Skin Research and Technology，2012，18（3）：301-310.

[8] Tsapras A，Emmanouil T，Emmanouil P，et al.Hyperspectral imaging and spectral classification for assisting in vivo diagnosis of melanoma precursors：preliminary results obtained from mice[C]//2016 IEEE International Conference on Imaging Systems and Techniques.October 4-6，2016，Chania，Greece.IEEE，2016：379-383.

[9] Zherdeva L A，Bratchenko I A，Myakinin O O，et al.In vivo hyperspectral imaging and differentiation of skin cancer[C]//SPIE/COS Photonics Asia.Proc SPIE 10024，Optics in Health Care and Biomedical Optics VII，Beijing，China.2016，10024：658-665.

[10] Ornberg R L，Woerner B M，Edwards D A.Analysis of stained objects in histological sections by spectral imaging and differential absorption[J].The Journal of Histochemistry and Cytochemistry，1999，47（10）：1307-1314.

[11] LeCun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521（7553）：436-444.

[12] Tognetti L，Bonechi S，Andreini P，et al.A new deep learning approach integrated with clinical data for the dermoscopic differentiation of early melanomas from atypical nevi[J].Journal of Dermatological Science，2021，101（2）：115-122.

[13] Hekler A，Utikal J S，Enk A H，et al.Deep learning outperformed 11 pathologists in the classification of histopathological melanoma images[J].European Journal of Cancer （Oxford，England：1990），2019，118：91-96.

[14] Seeja R D，Suresh A.Deep learning based skin lesion segmentation and classification of melanoma using support vector machine （SVM）[J].Asian Pacific Journal of Cancer Prevention：APJCP，2019，20（5）：1555-1561.

[15] Esteva A，Kuprel B，Novoa R A，et al.Dermatologist-level classification of skin cancer with deep neural networks[J].Nature，2017，542（7639）：115-118.

[16] Räsänen J，Salmivuori M，Pölönen I，et al.Hyperspectral imaging reveals spectral differences and can distinguish malignant melanoma from pigmented basal cell carcinomas：a pilot study[J].Acta Dermato Venereologica，2021，101（2）：adv00405.

[17] Hirano G，Nemoto M，Kimura Y，et al.Automatic diagnosis of melanoma using hyperspectral data and GoogLeNet[J].Skin Research and Technology，2020，26（6）：891-897.

[18] Johansen T H，Møllersen K，Ortega S，et al.Recent advances in hyperspectral imaging for melanoma detection[J].WIREs Computational Statistics，2020，12（1）：1465.

【通聯编辑：唐一东】