基于双通道级联注意力网络的医学图像配准

张 纠，刘晓芳，杨 兵

(1.中国计量大学 电子信息与通信研究所，浙江 杭州 310018； 2.中国计量大学 计算机应用与技术研究所，浙江 杭州 310018； 3.中国计量大学 浙江省电磁波信息技术与计量检测重点实验室，浙江 杭州 310018)

0 引 言

医学图像配准的核心问题是确定浮动图像与固定图像的空间映射关系，传统医学图像配准方法采用互相关系数[1]、条件互信息[2]、最大梯度距离[3]等相似性测度指标，然而，此类方法具有配准精度不高、计算效率较低等局限性问题。

近年来，卷积神经网络在处理医学图像配准问题上表现出较好的学习性能，通过自动优化配准参数等过程建立医学图像配准模型。传统的卷积神经网络无法适应特征形变问题，Jaderberg等提出空间变换网络用于显式地对特征形变问题进行建模[4]，较好地解决了特征空间变换问题。Balakrishnan等将空间变换网络与卷积神经网络结合，提出了基于卷积神经网络的VoxelMorph配准框架[5]，进一步加强了特征的空间变换性能，提高了配准精度。递归配准网络[6]将递归神经网络引入配准问题，将配准图像看作为一系列序列模型，加强了无监督配准模型的表达能力。FAIM方法[7]提出了一种基于卷积神经网络的配准框架，该方法的可训练参数更少，且精度较高。

上述方法设计了不同的神经网络框架用于医学图像配准问题，然而，上述方法存在一定局限性：①在配准网络设计过程中没有充分考虑到浮动图像与固定图像之间的信息互补性，没有有效利用固定图像所具有的丰富特征信息对配准场进行调整；②没有充分考虑特征注意力机制在医学图像配准问题中作用，没有将特征注意力与特征赋权引入配准问题，提高特征表达能力，从而进一步提高配准性能。

基于上述问题，本文提出的双通道级联注意力网络通过配准场级联变形方式，逐步完成配准场的空间变换，学习和优化配准参数。此外，通过特征加权与特征注意力机制进行特征赋权和特征筛选，提高特征表达能力，增强配准场的估计性能。

1 医学图像配准框架

医学图像配准的目标是对配准场φ进行估计，利用配准场使浮动图像M逐步变形为固定图像F。总的来说，形变后的图像W=Mof要精确对应固定图像F。因此，医学图像配准问题可以抽象为以下问题

(1)

如图1所示，目前医学图像配准大多采用此类配准框架，其大致可分为3步：①浮动图像和固定图像的特征提取，得到配准场；②采用空间变换网络对配准场进行空间变换，提高特征形变能力；③利用配准图像以及损失函数更新网络参数，建立配准模型。

图1 基于神经网络的医学图像配准框架

如图2所示，空间变换网络[4]对输入特征进行空间变换，此方法对于识别目标发生形变的情况下具有较好的校正性能。此网络分为3部分：①定位网络(localization network)对输入特征进行变换，输出仿射变换参数

图2 空间变换网络结构

(2)

2 双通道级联注意力网络

2.1 整体网络结构

本文提出的双通道级联注意力网络(dual-stream cascaded attention network,DCA-Net)如图3所示。整体网络结构分为3部分：①分别用于浮动图像和固定图像的两个特征提取流；②用于不同特征块重要性赋权的特征加权模块；③用于配准场估计的级联配准单元，此配准单元由特征注意力单元、配准场估计以及配准场变形组成。结合图1所示的医学图像配准过程，本文的医学图像配准步骤如下：

步骤1分别采用两个特征编码-解码的卷积神经网络对浮动图像和固定图像进行特征提取以及配准场估计；

步骤2采用特征加权模块分别对浮动图像和固定图像特征提取流进行特征重要性赋权，加权后的特征作为级联配准单元(特征注意力单元)的输入；

步骤3级联配准单元中的特征注意力单元对来自浮动图像和固定图像的特征提取流分别学习注意力特征规则，提高特征表达能力，得到配准场，此后通过级联配准的方式对配准场进行形变(采用空间变换网络)，最终得到配准图像；

步骤4将相似性测度指标和损失函数用于衡量步骤3得到的配准图像、配准场以及输入固定图像之间的空间对应关系；

步骤5使用梯度下降等方式迭代优化配准模型，完成医学图像配准。

图3 双通道级联注意力网络整体结构

φRF1=D[F(f2),F(m2)]

(3)

φRF2=D[F(f3),F(m3)]

(4)

φRF3=D[F(f4),F(m4)]

(5)

φRF4=D[F(f5),F(m5)]

(6)

φRFfinal=D[F(f6),F(m6)]

(7)

式(3)～式(7)中，φRF表示配准场，D表示双通道特征注意力单元，F表示特征加权模块，f表示图像特征，m表示浮动图像特征。

2.2 级联配准单元

级联配准单元网络结构如图4所示。级联配准单元采用配准场级联变形的方式对配准场进行估计，配准单元由特征注意力单元和配准场变形组成，特征注意力单元采用注意力机制学习特征重要性。

如图4所示，配准场变形采用空间变换网络学习映射坐标，优化配准参数。本文设计的级联配准单元能够预测多种不同分辨率的配准场，采用逐步配准场变形的方式降低配准场变形的难度和范围，更好地实施配准场的空间变换。此外，由于浮动图像特征和固定图像特征具有不同分辨率，故在配准场变形之后，使用3*3*3大小的卷积调整特征分辨率。图4中，φRFfinal与φRF1～φRFfinal的关系可表示为

图4 级联配准单元

φRFfinal=C1(φRF1)C2(φRF2)C3(φRF3)C4(φRF4)

(8)

2.3 双通道特征注意力单元

图5为双通道特征注意力单元，其位于配准场与配准场变形之间，主要目的是为了提高配准场的估计变形能力，利用注意力机制学习配准场的注意力特征，用于后续降低配准场的变形范围，从而逐步提高配准场的变形能力。

图5 双通道特征注意力单元

图5中，f1，m1表示来自固定图像特征提取流和浮动图像特征提取流的特征f4表示f1和m1进行通道叠加后的特征，f4可用式(9)表示

f4=f1⊕f5

(9)

式中：⊕表示特征通道叠加。此外，图5中，f2、f3、m2、m3表示中间特征，fg表示激活特征，ft表示选择后特征，f5表示输出特征，可分别表示为

f2=f(f1;θ1)

(10)

f3=f(f2;θ2)

(11)

m2=f(f5;θ3)

(12)

m3=f(f6;θ4)

(13)

fg=tanh(f(f2;θ5))⊙tanh(f(f6;θ6))⊙f4

(14)

ft=f3+fg+f6

(15)

f5=f3⊕ft⊕f7

(16)

式(10)～式(15)中，f表示卷积、归一化、激活函数等组合运算，θ表示组合运算参数，如卷积核参数等。⊙表示逐元素相乘。式(16)中，⊕表示特征通道叠加。

2.4 基于特征块的双通道特征加权模块

图6为基于特征块的特征加权模块，其对来自浮动图像与固定图像的特征提取流加权过程可分为4步：①对于两个特征提取流，使用两个不同尺寸的分组卷积核输出两组不同的特征，并设置分组数K对两组输出特征进行分组，分别得到K个特征块；②对特征块进行全局平均池化，获得特征加权参数；③使用全连接、激活函数对特征块加权；④采用通道拼接方式合并特征块，输出加权后的特征

图6 基于特征块的双通道特征加权模块

(17)

式中：H、W分别表示特征块的宽和高，UC表示某个通道的特征块，ZC表示输出特征块。最终输出特征可用下式表示

O=σ(g(Z,w))=σ(w2δ(w1Z))

(18)

式中：Z表示输出特征块，w1，w2表示全连接参数，δ表示非线性激活函数(Relu)，σ表示sigmoid函数。

3 配准实验与结果分析

3.1 数据集与实验参数

如图7所示，本文对脑部图像和肺部图像进行了配准，肺部数据集来自LUNA16[8]，脑部图像来自ADNI[9]，LBPA[10]。其中，从LUNA16数据集中选取1000个CT肺部扫描数据，每个扫描数据均重采样为140*190*220大小，其中900个数据用于模型训练，50个数据用于模型验证，50个数据用于模型测试。对于脑部扫描数据，ADNI数据集以及LBPA数据集分别包含66个脑部扫描数据、40个脑部扫描数据，其中66个ADNI以及20个LBPA扫描数据作为训练集，20个LBPA扫描数据作为测试集。所有数据的空间分辨率均重采样为140*190*220大小，此外，使用医学图像配准工具FreeSurfer[11]进行了预配准、主要脑部区域提取等预处理步骤。

图7 部分脑部和肺部实验图像

本文所用硬件环境为两个显存大小为11 G的Nvidia GeForce GT1080ti GPU，Intel i7-8700 CPU。软件环境为python 3.7，网络框架基于Pytorch实现。设置网络参数如下：初始学习率0.0001，使用初始动量为0.9的Adam优化器。此外，迭代次数设置为20 000次，并采用随机梯度下降更新网络参数。

3.2 损失函数与评价指标

(19)

(20)

(21)

本文采用Dice系数评价配准图像与固定图像之间的重合程度

(22)

式中：Dice系数范围为[0,1]，Dice系数为1表示配准图像与固定图像完美匹配，反之，表示配准图像与固定图像不匹配。

3.3 图像配准实验和分析

为了说明本文提出的DCA-Net对于医学图像配准的有效性和准确性，将本文方法与UtilzReg方法[12]、FAIM方法[7]、Elastix B-spine方法[13]、SyN方法[14]、VTN方法[15]进行了对比。

图8为本文方法与UtilzReg方法以及FAIM方法在肺部图像上的配准结果，本文方法所用的损失函数中，正则化系数λ设置为1.0。从图8中可以看出，浮动图像和固定图像在内部结构上表现出较大差异，主要体现在：浮动图像与固定图像之间的空间坐标差异较大，浮动图像与固定图像之间的组织纹理不一致，浮动图像与固定图像之间明显的特征差异对配准的算法提出了较高要求。

图8 部分肺部图像配准结果

图8(c)表明，本文提出的配准网络DCA-Net可针对内部解剖结构差异较大的图像进行配准，配准结果较接近固定图像的内部结构和纹理特征。此外，本文提出的方法在处理局部配准问题上也优于其它两种配准方法，能够较为准确地捕捉局部配准细节，对局部肺部区域做出准确配准。图8(d)为本文方法得到的配准场，可根据配准场对浮动图像进行空间变换，得到最终的配准图像。图8(e)为FAIM方法的配准结果，图8(d)和图8(e)表明：针对浮动图像与固定图像间的内部结构差异，FAIM方法和UtilzReg方法能对浮动图像配准变形，FAIM方法能在整体结构上对肺部进行配准，配准结果较接近固定图像。然而，与本文方法对比，FAIM方法与UtilzReg方法在处理局部配准问题上仍显不足，无法准确地针对固定图像的内部结构和纹理特征对浮动图像进行配准变形。

图9中，针对浮动图像与固定图像的局部细节，本文配准方法能够准确地处理图像细节，对浮动图像进行配准场估计，从而配准到固定图像。对于FAIM方法和UtilzReg方法，两者都能够针对固定图像的图像特征，对浮动图像进行整体形变，但是在处理局部变形问题上，仍然存在一些孤立像素点以及局部空间变换不足的问题。

图9 脑部图像配准结果

表1为本文方法与FAIM、UtilzReg等方法在脑部数据和肺部数据上的定量评价，从表1可以看出：对于LUNA16肺部数据，本文方法与FAIM方法比较，本文方法取得的平均Dice系数比FAIM方法提高1.5%，与UtilzReg方法比较，本文方法提高1.9%。与SyN方法比较，本文方法的评价Dice系数提高了2.7%。对于LBPA脑部数据，本文提出的双通道级联注意力网络配准模型与FAIM方法、UtilzReg方法、Elastix B-spine方法、SyN方法以及VTN方法比较，平均Dice系数分别提高了2.1%、2.6%、5.9%、3.3%、1.7%。此外，从推理时间可以看出，本文方法在GPU上的推理时间与VTN等方法相差较小，推理性能较为接近。

表1 图像配准评价结果

图10、图11分别展示了肺部图像和脑部图像的配准效果以及对应配准场，从图中可看出，本文提出的双通道级联注意力网络可对肺部数据和脑部数据实现较为准确的配准，其中配准场(X-Y)展示了由浮动图像变换到固定图像的变化趋势。

图10 肺部配准结果

图11 脑部配准结果

表2为配准场级联数量对网络性能的评估，从表2中可以看出，当配准场级联数量为1时，在脑部图像数据集LBPA以及肺部图像数据集LUNA16上，本文方法和FAIM方法的配准评价指标Dice系数较为接近。当配准场级联数量为2时，在LUNA16数据集以及LBPA数据集上，本文方法的配准指标Dice系数高于FAIM方法。随着配准场级联数量的不断增加，当配准场级联个数为4时，本文方法取得的配准性能也进一步提升，平均Dice系数明显高于VTN等方法，表明了本文设计的双通道级联注意力网络模型的有效性和准确性。

表2 配准场级联数量对网络性能的影响

4 结束语

为了提高医学图像的配准性能，本文提出了双通道级联注意力网络模型，通过在LBPA脑部数据库和LUNA16肺部数据库的配准实验结果表明，本文提出的级联配准场估计以及双通道特征注意力策略能够有效实现配准场估计和配准场空间变换，并能够较好处理配准细节，提高配准精度。与之前的配准研究工作不同的是，本文方法将级联配准场估计和注意力机制引入配准问题中，通过逐层配准变换的方式对配准场进行空间变换，增强了网络的配准性能。今后考虑进一步将注意力机制和配准场级联策略相结合，在配准场空间变换中引入注意力机制。提高配准场的估计性能。