基于RN-CNN模型的低剂量CT图像去噪方法

刘 帅 安 冬* 须 颖,2 邵 萌 邹德芳 刘振鹏

1(沈阳建筑大学机械工程学院 辽宁 沈阳 110168) 2(广东工业大学机电工程学院 广东 广州 510006) 3(沈阳建筑大学质量管理与评价办公室 辽宁 沈阳 110168)

0 引 言

CT扫描过程中会产生高剂量辐射对人体造成损伤，所以需要降低辐射剂量以减少对人体的伤害，但同时也要保证图像质量来满足临床诊断需求。降低辐射剂量主要产生量子噪声，还会产生条纹伪影，图像质量较差，影响诊断性能[1]。大量实验结果证明，低剂量CT图像中含有量子噪声，量子噪声的统计分布规律大约服从泊松分布[2]。

早期提高低剂量CT图像质量的主流算法为投影域去噪算法、图像重建算法和图像域去噪算法等。投影域去噪算法是在图像重建前对原始数据进行滤波，典型的方法包括惩罚加权最小二乘(PWLS)算法[3]和双边滤波[4]。然而，当图像的边缘不能很好地保留时，图像的空间分辨率往往会下降。当前CT图像重建算法中主流的算法是滤波反投影(FBP)算法、改进的FBP算法[5]、自适应统计迭代算法(ASIR)和基于模型的迭代重建(MBIR)等[6]。但是对于典型的图像重建算法，其复杂度和计算时间都大大增加。图像域去噪算法是当前的热点算法，和前两类最明显的区别在于它不依赖投影数据直接对低剂量CT图进行去噪。由于低剂量CT图像中噪声的统计分布不服从均匀分布，因此传统的去噪方法很难完全去除图像中的噪声和伪影。

目前在医学图像处理领域，已经有很多学者运用深度学习对图像进行研究[7]，卷积神经网络(Convolutional Neural Network,CNN)的应用也越来越广泛，人们提出了许多基于CNN的方法对低剂量CT进行去噪，并且其目的是找到低剂量CT和相应的正常剂量CT图像之间的pixel-wise关系[8]。例如,Chen等[9]提出了一个结合自编码的卷积神经网络对低剂量CT图像去噪；Kang等[10]在小波域上采用了类似的方法取得了相当大的成功，这些方法在低剂量CT图像去噪中表现出较好的效果；Zhang等[11]提出一种基于深度卷积神经网络的图像去噪方法，该方法采用梯度剪裁方案来防止梯度爆炸，并使网络能快速收敛；在“2016年NIH-AAPM-Mayo临床低剂量CT”中，基于方向小波的深卷积神经网络用于低剂量X射线CT重建[9]获得较好的成绩；Wurfl等[12]将滤波后的反投影(FBP)工作流程映射到深度CNN架构中，将重建误差降低了2倍；Lefkimmiatis[13]提出了一种基于非局部图像模型的灰度和彩色图像去噪深度网络结构，其提出利用DCNN来学习NSS的参数；文献[14-15]直接使用DCNN来实现去噪任务，将含噪声的图像输入到DCNN中，经过DCNN输出清晰图像。

本文针对低剂量CT图像去噪问题提出一种新的卷积神经网络结构。首先输入完整的CT图像以保留图像细节信息，并将批量归一化与残差学习相结合[16]，通过引入长跳跃连接，避免梯度消失和准确度下滑问题；然后提出尺度不变的空间金字塔池化(S-SPP)，增加网络有效特征；最后卷积过程中使用扩张卷积增大网络的感受野，保留图像内部数据结构，得到更好的分割效果。

1 基于卷积神经网络的低剂量CT去噪

1.1 去噪模型

低剂量CT图像去噪的目的是从低剂量CT图像Y中观察到潜在的正常剂量图像X，R表示Y与X的残差，即图像中的噪声，式(1)表示三者之间的关系。

Y=X+R

(1)

大多数传统去噪方法直接实现低剂量图像Y到正常剂量图像X的映射。由于正常剂量CT图像比噪声图像包含更多的信息，所以输出正常剂量CT图像中存在的现有信息比噪声图像中存在的信息更复杂。这意味着预测潜在清晰图像的网络的学习负担远远高于预测噪声图像的网络的学习负担。

(2)

1.2 RN-CNN网络结构

图1为RN-CNN网络的示意图，包括卷积(Conv)、尺度不变的空间金字塔池化(S-SPP)、修正线性单元(ReLU)、批量归一化(BN)。在传统的深度学习网络框架中，增加网络的深度可以增加网络的非线性达到更好的学习效果。但是随着网络的深度不断加深，特征面数目越来越多，网络的计算量逐渐增加，网络容易出现梯度消失或梯度爆炸的现象，导致网络性能退化、错误率上升。针对网络深度加深容易出现梯度消失或梯度爆炸的现象，本文在网络学习过程中引入残差学习策略提升网络性能，同时利用尺度不变的空间金字塔池化增加有效特征、增加扩张卷积来扩大网络感受野[17]。

图1 RN-CNN网络示意图

1.2.1网络结构

本文提出的网络结构模型共10层，分析如下：

(1) conv+ReLU层：第一层网络卷积核的数量为64个，大小为5×5。将模拟的低剂量CT图像每一个局部区域与卷积核做卷积运算，从而得到低剂量CT图在该处不同特征的激活值；然后将不同的激活值进行加权，再传递给ReLU函数，得到该层的输出。

(3)

(3) conv+BN+ReLU层：该层设置在第3-第9层，采用48个大小为3×3的卷积核，第3、第4、第8、第9层使用步长为2的扩张卷积，第5、第6、第7层使用了步长为3的扩张卷积，所以第3、第4、第8、第9层得实际卷积为5×5，第5、第6、第7层的实际卷积核为7×7。此外，第3-第9层与第一层不同之处在于第3-第9层在训练过程中引入了批量正则化(BN)，以改善网络的梯度提高网络的准确率和网络的训练速度。

(4) conv层：最后一层网络有64个大小为5×5的卷积核，输出大小为512×512的噪声图像，然后根据相应的数学运算得到去噪之后的图像。

网络的损失函数F(θ)为：

(4)

1.2.2特征提取

为了使网络可以从输入图像数据得到更多更有效的特征信息，提高网络的预测效果，本文借鉴空间金字塔池化(SPP)思想提出尺度不变的空间金字塔池化(Scale-invariant Spatial Pyramid Pooling，S-SPP)，从而丰富卷积神经网络提取的特征信息。提出的S-SPP模块的网络结构如图2所示，S-SPP模块主要由4个并行的最大值池化层、1个连接层和1个卷积层组成。最大值池化层的内核大小分别为1×1、5×5、9×9和13×13。4个最大值池化层能够在输入的图像特征中提取具有不同感受野的多尺度特征；连接层能够整合4个最大值池化层提取的多尺度特征，在特征图的通道维中进行融合；卷积层的主要目的是将特征恢复到进入S-SPP模块前的大小，使得S-SPP模块引入的额外的特征不会在此处影响后续操作。图3表示特征在S-SPP模块中的尺度变化过程。深层神经网络在同一层内获得的多尺度特征可以进一步提高网络的预测精度，且计算量小。

图2 S-SPP模块的网络结构

图3 特征传递过程

本文网络共10层，输入为512×512的低剂量图像，输出为512×512的预测噪声图像。其中第一个conv层和最后一个conv层有64个大小为5×5的卷积核，3-9层有48个大小为3×3的卷积核。本文使用扩张卷积增大感受野提升网络的整体性能，其中3、4、8、9层使用步长为2的扩张卷积，5、6、7层使用了步长为3的扩张卷积，所以3、4、8、9层得实际卷积核为5×5，5、6、7层的实际卷积核为7×7。图4为扩张卷积原理示意图，其中(a)对应3×3的1-dilated conv，(b)对应3×3的2-dilated conv，可以看出网络的kernel size虽然只有3×3，但是感受野已经增大到7×7，(c)是4-dilated conv操作，能达到15×15的感受野。

(a) 1-dilated conv (b) 2-dilated conv

(c) 4-dilated conv图4 扩张卷积示意图

(5)

1.2.3融合批量正则化(BN)与残差学习的图像去噪

增加网络的宽度和深度可以提高网络的性能，但是当网络层数达到一定的数目性能就会饱和，再增加网络深度就会导致网络的错误率上升，性能下降，深度网络的训练就变得更加困难[19]。针对这个问题，本文使用BN与残差学习相结合。BN层在激活函数前对输入进行归一化，以解决输入数据发生偏移和增大的问题。BN不仅加快训练速度增大学习率，而且不用选择拟合中droupout、L2正则化项的参数，减少了梯度弥散和梯度消失。式(6)-式(9)为BN公式。

(6)

(7)

(8)

(9)

图5 残差网络示意图

将要优化的目标H(x)=F(x)+x(x就是该结构的输入)由H(x)转化为H(x)-x。在图像去噪中H(x)代表含噪声图，H(x)-x为噪声图。由于噪声图残差相比于H(x)会减少很多特征，所以会更容易地找到最优结果[20]。通过这种方式就可以解决网络太深难训练的问题，网络训练时间会相应地减少，性能也会提高。

2 实验与结果分析

2.1 数据集准备及仿真环境

选取2 000幅不同患者的肺部CT作为训练数据，500幅作为测试数据，图像尺寸为512 pixel×512 pixel，CT图像来自广州医科大学附属第一医院，为了不影响数据的整体性，本文没有对数据进行缩放处理。将每幅正常剂量的CT图加入泊松噪声以模拟对应的低剂量CT图像，加噪式如下：

In=Poisson[b·exp(-S)]

(10)

Sn=ln(b/In)

(11)

式中：b发射光子数，其值设为106；S为正常剂量CT图做扇形射束投影变换后的投影矩阵；In为探测器接收到的光子数；Sn为噪声污染后的投影矩阵。

本文选用带有Intel Core i7- 9700K CPU @ 3.60 GHz、64 GB RAM和Nvidia GeForce RTX 2080 Ti的Windows工作站来训练和评估模型。同时使用Keras深度学习框架在pyCharm上进行仿真模拟。

2.2 网络收敛性

本文训练测试集时使用早停机制(early stopping)来帮助网络的收敛，损失函数以测试集的损失函数作为参考，当模型在测试集上的表现开始下降的时候停止训练。早停机制不仅能有效防止过拟合，还能防止欠拟合现象。本实验中设置一个较大的初始周期，早停机制会使网络在初始周期之前停止训练，保证训练时间不会太长，提高RN-CNN网络的效率。其中早停机制的patience设为10。

2.3 结果分析

本文采用主观和客观两种评价标准对结果进行评价。为了验证算法的有效性，将所提网络与RED-CNN、DnCNN、NLM进行对比，图6为测试数据中随机抽取的6幅CT图像。

(a) (b)

(c) (d)

(e) (f)图6 测试图

主观评价是利用目测法观察图像的形态问题，图7是以图6(a)为例展示去噪效果，图7(e)为采用NLM算法处理后的效果图，可以看出边缘明显变得模糊，而且丢失了内部的纹理信息；图7(c)和图7(d)中虽然处理后的图像噪声消除很多，但是器官内部一些微小细节也被消除；图7(f)为本文算法处理后的效果图，去除噪声后的图像细节信息较清楚，去噪效果更明显。

(a) 原图 (b) 添加泊松噪声图

(c) RED-CNN去噪图 (d) DnCNN去噪图

(e) NLM去噪图 (f) 本文算法去噪图图7 仿真模拟图

图8为不同方法下同一图像纹理细节的比较，对图8(a)中圈框部分放大观察效果，可以看出低剂量图像中有明显的噪声，图8(c)-图8(f)都有一定的降噪效果。NLM相对降噪效果较弱且白色骨质部分有较明显的伪影；DnCNN去噪后骨质周围较亮，难以保留细节信息；RED-CNN和本文算法去噪效果相差不多，在降低噪声的同时都能很好地保留细节纹理信息，但是RED-CNN结合了自编码器和解卷积，这种基于补丁的去噪方法在网络训练后需要花很长时间来处理图像补丁，而本文算法结构相对简单，运算时间和成本大大降低。

(a) 正常剂量图像 (b) 低剂量图像

(c) NLM去噪图(d) RED-CNN去噪图

(e) DnCNN去噪图(f) 本文算法去噪图图8 细节对比图

图9表示同一图像不同状态下的3D曲面灰度分析图：图9(a)为正常剂量图像曲面灰度图，图9(b)为低剂量图像曲面灰度图，图9(c)为本文算法对低剂量CT图像去噪之后的曲面灰度图。可以看出低剂量CT图像细节不够清晰，经过本文算法处理后的灰度图和正常剂量图像的灰度已经很接近，进一步说明本文算法的有效性。

(a) 正常剂量图像曲面灰度图 (b) 低剂量图像曲面灰度图

(c) 去噪后曲面灰度图图9 3D曲面灰度图

客观指标采用峰值信噪比(Peak Signal to Noise Ratio,PSNR)与结构相似指数(Structural Similarity Index Measurement,SSIM)，公式如下：

(12)

(13)

(14)

式中：x和y分别代表正常剂量图像和噪声图像；m、n分别代表图像的宽和高；c为常数；μ为平均值；σ2为方差；σxy为比较两幅图像的协方差；MAXx为正常剂量图像像素最大值。PSNR可以衡量算法的去噪能力，值越大去除噪声能力越强；SSIM用来衡量两幅图的相似程度，范围是0～1，数值越大说明两幅图越相似，去噪后保留的细节信息也就越多。表1中数据是对6幅测试图评价指标的详细结果和平均值，可以看出本文所提网络对于PSNR指标领先DnCNN、NLM，在PSNR指标上平均提高1.80；在SSIM指标上所提网络略高于RED-CNN，比DnCNN高0.100 5，比NLM高0.097 1，对于SSIM指标平均提高了0.078 3。因此本文有效的去除了低剂量CT中的噪声。

表1 实验结果比较

为了验证S-SPP模块的有效性，将S-SPP模块替换成池化核为2×2的最大池化层，取6幅测试图与原方法进行对比，依然使用PSNR、SSIM作为评价指标。实验结果如表2所示，可以看出，尺度不变的空间金字塔池化相对于最大池化可以使网络获得更好的去噪效果。

表2 不同结构比较结果

3 结 语

本文针对低剂量CT含有大量量子噪声的问题提出一种新型结合ResNet模型的卷积神经网络结构，以去除图像中的噪声和伪影。本文提出的网络以低剂量CT图像作为输入并预测噪声图像，通过将预测的噪声图像与低剂量CT图像分离来得到潜在的清晰图像，结合BN与残差学习的优势；通过S-SPP增加有效特征，并利用扩张卷积增大网络感受野；训练过程中使用早停机制帮助网络收敛。与其他经典算法相比，本文所提出的网络在PSNR指标上平均提高1.80，在SSIM指标上平均提高了0.078 3。