基于CycleGAN的仿真PET/CT图像生成方法

李柏桥，彭 显

（昆明理工大学 信息工程与自动化学院，云南 昆明 650050）

0 引 言

直到今天，癌症依然是威胁人类健康的主要疾病之一。据统计，2018年全球有1 807万余例新增癌症病例，发病率为每10万人236.9例。尽可能早的癌症诊断对患者的康复至关重要，医疗影像学方法尤其是正电子发射型计算机断层显像/计算机断层扫描显像（Positron Emission Computed Tomography/Computed Tomography，PET/CT）是癌症诊断（特别是早期诊断）的一种重要手段，但其现阶段主要依据常规代谢显像，在癌症早期诊断上的诊断力不高［1-3］。患病部位的血流灌注参数是临床检测和诊断癌症的重要参考指标［4］。因此，目前常用的肝癌诊断方式是依据机器学习计算出灌注参数，并通过灌注参数在肿瘤组织与正常组织之间的差异来进行诊断［5］。血流灌注参数是通过基于机器学习技术建立的血流动力学模型计算得到的。现阶段用于癌症诊断的血流动力学模型主要有两类：一类是Mullani等［6］提出的最大斜率法模型，主要关注示踪剂首次通过组织时的血流情况，通过模型计算出的动脉灌注量（Hepatic Artery Perfusion，HAP）、静脉灌注量（Hepatic Portal Vein Perfusion，HVP）、总灌注量（Total Liver Perfusion，TLP）、动脉灌注指数（Hepatic Artery Perfusion Index，HPI）和静脉灌注 指 数（Hepatic Portal Vein Perfusion Index，PPI）5个参数来区分肿瘤组织与正常组织［7］；另一类是房室模型，使用电信号模拟病变器官的生理过程，主要关注腔室之间的血流转换和血液中葡萄糖的代谢情况［8］。房室模型主要分为单房室模型［1］、双房室模型［9］以及三房室模型［10-12］。以上的方法存在一个共同缺点，即先需要人工提取出存在于PET/CT图像中的特征，再将特征输入模型进行癌症的早期诊断，将消耗大量的人工成本。

随着计算机技术的不断发展，出现了以卷积神经网络为代表的深度学习技术，并被广泛应用于医疗、军事、航天以及气象等领域，并取得了良好效果。卷积神经网络由卷积层、池化层和全连接层组成。由于卷积层可以自动从数据中提取预测所需的特征，因此十分适于替代上述依赖人工提取特征的早期诊断模型。然而，基于卷积神经网络的癌症早期预报模型依赖于大规模数据集的训练，由于PET/CT成像存在费用过于高昂和造成患者较大生理不适的问题，目前PET/CT设备并未得到大范围普及，造成可以用于训练卷积神经网络模型的PET/CT数据量严重不足。

生成对抗网络（Generative Adversarial Network，GAN）是深度学习领域的一个重要分支，可以根据已有的图像数据生成与之相似的仿真图像数据，非常适合于扩充PET/CT图像的数量。因此，本文提出了一种基于GAN（CycleGAN）的PET/CT仿真图像生成的方法，以此获得更多的仿真PET/CT图像，用于后续基于卷积神经网络的癌症早期诊断模型的训练。

1 数 据

1.1 数据来源

本文使用的原始数据来自斯坦福大学2018年发布的NSCLC Radiogenomics数据集（https://wiki.cancerimagingarchive.net/display/Public/NSCLC+Radiogenomics），其中包含了211位受试者的肺部 PET/CT 图像［13］。

1.2 数据预处理

NSCLC Radiogenomics数据集中包含了211位受试者的全身（躯干部分）PET/CT图像，而每位受试者的癌变部位均为肺部，需要手动从原始数据中提取肺部PET/CT图像。同时，为了获得更大规模的数据集，在图像符合要求的前提下，从每位受试者图像样本中提取尽量多的PET/CT图片。提取工作由一名有3年从业经验的放射科医师进行，最终提取到来自211位受试者的917张肺部PET/CT图像。提取出的部分图像如图1所示。

图1 部分真实的肺部PET/CT图像

2 方 法

生成对抗网络是深度学习的一个重要分支，是一种典型的无监督学习算法。如图2所示，生成对抗网络包括生成模块（Generator，G）和判别模块（Discriminator，D）两个模块。生成模块的作用是根据输入的图像数据生成仿真图像数据，判别模块的作用是判断生成模块所生成的仿真数据是否符合要求。训练过程中，生成模型会随机选择输入的真实图像数据中的各项特征并进行重新组合，同时加入随机噪声。判别模块会同时接收到真实的图像数据和生成模块生成的仿真图像数据，进而判断每一个输入是真实图像数据还是仿真图像数据，并给出一个评分。训练过程中，对两个模块的参数进行同时调优，如果判别模块可以识别出仿真图像数据，需要更新生成模块的参数使其生成的仿真图像数据更加逼真，最终使判别模块难以判别出生成模块所生成的仿真图像数据，至此整个网络训练完成。

图2 生成对抗网络的总体结构

2.1 CycleGAN概述

Zhu等人在2017年提出了一种名为CycleGAN的生成对抗网络［14］。CycleGAN在结构方面做了大幅度改进，如图3所示。它包含2个生成对抗网络，与传统的生成对抗网络不同。CycleGAN中的两个生成对抗网络只输入真实数据而不输入噪声，将两类真实的图像进行图像风格的融合。此时，模型的优化目标为：

式中，X、Y分别表示待融合的两张图像；模型GAN1负责将图像X转换成图像Y相近的图像；模型GAN2负责将图像Y转换成图像X相近的图像；Lcyc(G,F)代表循环一致性损失，是实现CycleGAN的关键，计算方法如下：

式（2）右侧第1项表示图像X输入到GAN1的生成模块中，并将GAN1的输出结果输入到GAN2的生成模块中，然后计算GAN2的输出结果与输入图像X的真实值之间的距离。式（2）右侧第2项用于保证输入的图片经过两次变换后发生的变化尽可能小，即使生成模块能更好地拟合图像X到图像Y之间和图像Y到图像X之间的映射关系，从而避免模型的生成图片过于单调。

图3 CycleGAN模型的总体结构

2.2 生成模块与鉴别模块

如图4（a）所示，CycleGAN的生成模块主要由编码器、转换器和解码器3个部分组成。其中，编码器的作用是初步利用卷积神经网络提取输入图像中的特征，得到256个尺寸为64×64的特征图；转换器的作用是组合图像的不相近特征，将图像在一个域中的特征向量转换为另一个域中的特征向量，常使用两个卷积层组成的网络，保证转换的同时保留原始图像的特征；解码器的作用是利用反卷积从特征向量中还原出低级的特征，得到生成图像。

鉴别模块的结构如图4（b）所示。鉴别模块的本质是一个卷积神经网络，从输入的图像中提取出特征，再通过添加的一层一维输出卷积层判别网络所提取到的特征是否属于特定的类别。

2.3 模型训练与仿真图像的生成

本文搭建的CycleGAN模型的超参数根据经验和实验结果设置如下：生成模块与判别模块均使用Adam 优化器［15］，其中β1参数被设置为 0.4，β2参数被设置为0.8，学习率被设置为0.001。同时，在模型的预训练结束后，判别模块参数每更新5次生成模块参数就被更新1次。batch-size被设置为64。

模型训练完成后，尝试使用训练后的模型生成若干仿真肺部PET/CT模型。部分生成的仿真PET/CT图像如图5所示，可以看出，生成图像与真实图像有所不同，但总体上拥有相似的特征。

3 结 果

3.1 类图灵测试

1950年，计算机之父艾伦·麦席森·图灵首次提出“图灵测试”的概念［16］。“图灵测试”是指测试者在不知道被测试者是人还是机器的情况下，通过某些特定的手段向被测试者进行提问，由测试者判断被测试者是人还是机器。如果进行多次提问后机器的回答让平均每个测试者作出超出一定比例的误判，那么这台机器就通过了测试，并被一定程度上认为具有智慧。

图4 CycleGAN模型的生成模块与判别模块

图5 模型生成的仿真肺部PET/CT图像

为了对模型输出的仿真PET/CT图像的真实程度进行评估，设计了一个“类图灵测试”方法，即取100张原始数据中的真实PET/CT图像和100张模型生成的仿真PET/CT图像进行混合，再由两位有经验的放射科医师（其中，医师A有3年从业经验，医师B有2年从业经验）对图像进行评价。评价标准是对图像进1～5分的打分，其中1分表示图像质量非常差，5分表示图像质量非常好。

3.2 测试结果

经过统计，最终的测试结果如图6所示。其中：图6（a）和图6（b）分别表示医师A对真实图像和仿真图像的评价，真实图像的平均得分为3.69分（计算算方法为所有柱形图横纵坐标乘积的和除以图像总数100，下同），仿真图像的平均得分为3.51分；图6（c）和图6（d）分别表示医师B对真实图像和仿真图像的评价，真实图像的平均得分为3.63分，仿真图像的平均得分为3.58分。通过测试结果可以看出：对于提出的基于CycleGAN的模型生成的仿真图像，医师A和医师B都给出了略低于真实图像的评分，但总体上两种图像的得分差异不大。因此，可以认为即使是专业的医师也很难将提出模型所生成的模拟PET/CT图像与真实PET/CT图像完全区分开来，证明了提出的基于CycleGAN的仿真PET/CT图像生成方法的有效性。

图6 两位医师对真实图像和生成的仿真图像的评分

4 结 语

本文提出了一种基于CycleGAN的仿真PET/CT图像生成方法，详细介绍了该方法的原理、模型结构以及训练过程。该方法可以基于真实的PET/CT图像对其特征进行重新组合，生成与输入图像有所不同但拥有相同特征的仿真图像，可以有效对已有的真实PET/CT图像数据集进行数据扩充，从而实现将PET/CT图像用于基于卷积神经网络的癌症早期诊断模型的训练工作。实验过程中，将来自NSCLC Radiogenomics数据集的肺部PET/CT图像用于提出的模型训练，生成了若干仿真PET/CT图像，并经过两名有经验的放射科医师对实验结果的评价，初步证明：提出的基于CycleGAN的仿真PET/CT图像生成模型可以有效产生可用于训练癌症早期诊断的卷积神经网络模型的仿真PET/CT图像。未来将要尝试除肺部PET/CT图像以外的其他人体器官或部位的仿真PET/CT图像的生成，并设计基于卷积神经网络的癌症早期诊断模型，尝试联合使用真实的PET/CT图像和所提模型生成的仿真PET/CT图像对人体各个部位的早期癌症进行诊断。