生成对抗网络加速超分辨率超声定位显微成像方法研究*

隋怡晖 郭星奕 郁钧瑾 Alexander A.Solovev 他得安1) 许凯亮1)†

1)(复旦大学工程与应用技术研究院,上海 200433)

2)(复旦大学信息科学与工程学院,生物医学工程中心,上海 200438)

3)(复旦大学材料科学系,上海 200438)

超快超声定位显微成像(uULM),突破了传统超声衍射极限,可实现分辨率远小于发射波长的在体深层微血管精准成像.通过对微血管中数以万计的运动微泡进行中心点定位和轨迹追踪,uULM 技术可重建微血管图像.通常一张uULM 图像需要数十秒甚至数百秒的连续长程图像采集,这在一定程度上限制了其更广泛的临床应用.针对这一挑战,本研究在阐明了超声衍射极限、超分辨率定位理论方法的基础上,给出了基于傅里叶环相关的分辨率测定原理和实现方法,并结合传统uULM 重建技术,发展了一种基于生成对抗网络的深度学习超分辨超声成像方法,以缩减uULM 对图像采集时长的依赖,提高成像速度和成像分辨率.针对大鼠脑的在体数据分析结果表明,基于生成对抗网络的超声定位显微技术微血管分辨达到10 µm,在保持较高超声成像空间分辨率和图像饱和度的同时,数据采集时间缩减一半,从而显著降低了uULM 对图像数据采集时长的依赖.相关深度学习模型连接轨迹的计算复杂度较小,且避免了人工调参以及轨迹筛选,为加速超分辨率uULM 微血流成像和提升uULM 成像分辨率提供了一种有效的工具.相关思路与方法对促进超分辨率uULM 成像技术发展具有一定的借鉴意义.

1 引言

微血管系统分布于各种组织和器官中,起到维持人体内各器官生理功能正常运行的作用[1].微血管结构或功能改变将损害正常器官功能或导致疾病发生,在包括肿瘤、卒中、阿尔兹海默、心血管病、心脑血管病和糖尿病等重大疾病的发生、发展过程中起到了至关重要的作用[2].因此,发展“精准而快速”的微血管及血流成像方法,实现相关疾病中微血管病变的早期诊断具有重要临床意义.

目前,临床在体微血管成像的金标准技术主要为X 射线计算机断层扫描造影技术(computed tomography angiography,CTA)和磁共振造影技术(magnetic resonance angiography,MRA).在造影剂的辅助下,CTA[3]和MRA[4]均能够穿透深层组织将血管分辨率降低到几十微米,获得三维血管影像,但扫描时间较长,在人体临床应用中仍有较大挑战.近红外二区荧光成像[5]和光声显微成像[6]有高空间分辨率和高时间分辨率的优点.但缺乏足够的组织穿透力,无法实现深层脑微血管成像.

超声具有非侵入性、无辐射的优点,作为一种不可或缺的临床影像模态,已被广泛用于人体各器官成像[7]和经颅骨的脑组织成像[8].近年来,先进的超快超声成像技术可实时呈现脑、肾脏、肝脏和脊髓中微小血管的高质量图像[9,10].亦可对脑微血流量变化量成像,进而利用神经血管耦合机制,实现脑功能成像[11].然而,受限于衍射极限,传统超声成像的空间分辨率仍限于发射声波波长的一半.提高成像频率可获得更短的发射波长,虽然能提升成像空间分辨率,但也会显著降低穿透深度[12].当前,超快超声成像技术仍无法满足深层微血管的精准成像需求.

近年来,学术界所发展的超快超声定位显微技术(ultrafast ultrasound localization microscopy,uULM)通过定位和追踪微泡在微血管中的运动轨迹,有效地突破了衍射极限,将分辨率提升了十倍左右.利用微泡的高对比度,uULM 可在保证穿透深度的前提下实现高时空分辨率的超声微血流成像[13,14].2015年,Errico等[15]应用该技术实现了大鼠脑部的微血流成像,分辨率约10 µm.2017年,Lin等[16]利用ULM 技术识别大鼠肿瘤血管生成的微血管的形态特征,并实现了血管的弯曲度定量分析.2021年,Xu等[17]提出鲁棒主成分分析方法用于低信噪比条件下的微泡检出,进而提升了大鼠脑ULM 成像质量.2022年,Yu等[18]采用ULM 技术对大鼠脊髓微血流进行成像,最终获得大鼠脊髓微血管超分辨率图像,可清晰地看到脊髓上下两个界面的动脉血管以及内部的微血流分布.与此同时,ULM 技术也不断地向临床转化.2021年,Demené等[19]的研究表明,ULM 可以对人脑血管进行经颅成像,并在功能上表征人脑的血流动力学特征.同年,Huang等[20]利用高帧率的临床超声探头,采用ULM 技术,获得了人体肝脏、肾和肿瘤的超分辨率血流图像.

uULM 成像通常需要通过对微泡定位与追踪来实现,相关算法直接影响了其成像性能.目前主流的定位算法多基于高斯拟合法或质心法的单个微泡中心定位算法[21].相关方法要求每帧图像中微泡数量较少,微泡间不产生混叠,便于定位,从而有利于识别单个微泡的中心位置,这客观上要求使用较低的微泡浓度.然而,为获得较为准确的uULM 成像结果,需要积累数百万计的血管内游动的微泡事件,这客观上导致了较长的数据采集时间.此外,在uULM 重建微泡运动的轨迹连接步骤中,部分误判为微泡的噪声会导致错误的连接轨迹[21].通常采用轨迹长度阈值将错误轨迹滤除,这也带来了有用轨迹丢失的风险,从而降低了图像的重建饱和度.

近年来,深度学习在医学成像领域展现了巨大的潜力,也被广泛应用于uULM 成像,以缓解数据采集时间长的问题[22].Youn等[23]训练卷积神经网络从射频数据中检测和定位高密度多点目标,可在较短的时间内检测更多微泡,以缩短数据采集时间.Sloun等[24]使用卷积神经网络对高密度微泡进行中心定位,证明了深度学习可在具有挑战性的微泡密度下实现超分辨率成像.Liu等[25]提出了一种改进的亚像素卷积神经网络,通过加入残差网络,进一步提高了网络训练效率.

目前的研究仍多聚焦于超声图像中高浓度微泡的多目标定位问题,在微泡定位跟踪与微血管重建方面仍有所欠缺,特别是相关微泡轨迹筛选与平滑操作仍受到较多人为因素影响.本研究中提出了一种基于生成对抗网络(generative adversarial network,GAN)的深度学习超快超声定位显微技术(GAN-uULM),并将U-Net 作为生成器网络.针对微泡的轨迹连接问题,采用GAN-uULM 实现定位后的微泡轨迹重建,从而高效获得微血管图像.该网络通过在体uULM 数据集训练,并在大鼠大脑的在体数据中进行验证.最后,通过对比标准uULM 重建算法结果,对GAN-uULM 处理得到的大鼠脑微血管图像的血管饱和度和空间分辨率进行了定量分析.

2 基本原理

2.1 衍射极限与超分辨率定位理论

成像区域内的一个理想物点,在超声成像系统的成像下表现为斑点状,称为成像系统的点扩散函数(point spread function,PSF).可构建一个高斯PSF 物理模型如下式所示

其中z表示理想物点在轴向,即超声传播方向上的位置;x表示理想物点在横向方向上的位置;波长λ=c/f,c为声速;f为超声频率,σz和σx分别是轴向和横向PSF的方差.超声图像可以认为是所扫描物体的反射函数r(x,z)与系统的点扩散函数PSF(x,z)卷积后累加噪声n(x,z)的结果,如(2)式所示[23,26]

点扩散函数造成了超声图像的模糊,限制了细小血管的检测及分离[27].

由于点扩散函数的影响和衍射的限制,超声成像的分辨率理论上受限在半波长左右,这被称为“衍射极限”.若多个散射体间的距离小于该极限,它们的s便会重叠在一起,变得难以区分,如图1(b)所示.提高超声频率可以提高分辨率,但是同时也会增加信号衰减,减少穿透深度.

常用超声微泡尺寸在2—10 µm 之间,远小于超声波长(本文实验中所用超声频率为15.625 MHz,波长约为100 µm),且微泡在时间和空间上是彼此分离的.因此微泡成像时同样表现为点扩散函数,通过算法计算点扩散函数的中心点,即可定位微泡,如图1(c)所示.通过累积成千上万个亚波长的微泡定位点,便可以获得分辨率远小于发射波长的超分辨率超声图像.对于微血管成像,该方法用超快超声动态检测微血管内“游走”的超声微泡,基于微泡点扩散函数拟合获得微泡中心点坐标定位,从而数十倍地提升显微成像精度;累积数以万计的超声微泡运动轨迹,即可获得微血管系统的超分辨率图像.

图1 超声成像分辨率及微泡的B-mode 图像(a)两微泡间距恰好为半波长;(b)两微泡间距在半波长内;(c)实验测量的微泡点扩散函数及其中心定位(由红点标记)Fig.1.The resolution of ultrasound imaging and a B-mode image of microbubbles:(a)The two sources are exactly half a wavelength apart;(b)the two sources are within a half-wavelength distance;(c)microbubbles appearing as point spread function and their localizations.

2.2 基于傅里叶环相关的分辨率测定原理

基于傅里叶环相关(Fourier ring correlation,FRC)的方法给uULM 分辨率测定提供了标准方案.该参数被用于对比标准uULM和GAN-uULM方法的分辨率[28].其原理为,将轨迹数据随机分成两子图像Im1和Im2,计算两个频谱FI和F2沿等空间频率环r的归一化相关性,从而获得分辨率评价.

其中F为傅里叶变换符号,FIm2(r)∗是FIm2(r)的共轭函数.

图像分辨率为FRC 中低于阈值曲线的空间频率的倒数.通常可使用2σ和1/2 bit 阈值曲线,分别对应于高于两倍等效噪声水平的相关和填充半位所需的信息.分辨率被确定为与FRC 曲线的交点,若存在两个以上交点,则选择与较低分辨率相对应的交点.

2.3 基于超快超声成像的微泡提取原理与方法

不同于传统聚焦超声成像系统实行逐行聚焦线性扫描成像方式,基于平面波发射的超快超声成像单次发射即可覆盖整个成像区域,从而极大地提升了成像速度[29].成像帧频可由传统超声的百赫兹发展到千赫兹甚至上万赫兹[30].通过波束合成和多角度平面波复合相干叠加,可有效补偿因声束非聚焦所致的图像信噪比和分辨率的损失,从而提高成像质量[31].近年来,基于超快超声成像技术的超快Doppler 成像,为高时空分辨率的小血管血流动力学成像提供了一种有效的解决方案.超快超声采集的回波信号,主要由组织信号、微泡信号和噪声信号组成.由于组织运动和血流运动在时空一致性方面存在显著差异,基于时空奇异值分解(singular value decomposition,SVD)的滤波方法可实现有效的杂波抑制[32].时空SVD 滤波实现的基础主要源自于组织信号、微泡信号和噪声信号三者的强度差异和静动变化.简言之,具有高时空相关性的静态组织信号对应了较大特征值的特征向量,而噪声则对应了较小特征值的特征向量,其余特征值和特征向量则可用于重建动态微泡图像.

∆是大小为(Nx×Nz,Nt)的对角矩阵,对角系数表示奇异值大小,*代表共轭转置,U和V分别对应于S的空间和时间奇异向量矩阵.奇异值矩阵 ∆中的系数按降序排列,具有更高强度和更高空间相干性的组织信号集中在低阶奇异向量,低强度的噪声信号集中在高阶奇异向量.可以使用带通滤波矩阵If去除低阶和高阶奇异值,滤除组织信号成分.滤波后的信号Sf为

If为对角矩阵,前m个对角元素对应了组织信号成分、后n个对角元素可视为噪声信号成分;若将前m个和后n个对角元素均设为零,其余的对角系数为1,则可获得微泡信号成分.阈值选取会影响成像结果的对比度和信噪比,在本研究中,阈值选择的标准是奇异值曲线的拐点[33].此外,为了保证基于奇异值分解的杂波滤波结果的最佳,多次选取拐点附近的不同阈值,将SVD 滤波方法所对应的参数调整到最佳值.

2.4 超声定位显微原理

uULM的主要流程如图2 所示,注射超声造影剂后,使用超快超声成像技术连续采集数百秒复合平面波数据.对采集到的射频数据进行波束合成及同相/正交(in-phase/quadrature,I/Q)解调后,使用奇异值分解杂波滤波器去除组织和噪声[33,34],从而得到微泡信号.随后,采用基于相位相关[35]的运动校正方法实现微泡的位置校准.分别使用径向对称(radial symmetry,RS)[36]和Kuhn-Munkres 算法[36]实现微泡的定位与追踪,并叠加微泡的运动轨迹.累积数百秒数据中所有超声微泡中心的轨迹,经由图像重建可得到超分辨率超声微血流图像.

对于图2 中的步骤(c),利用步骤(b)分离得到的组织信号,采用基于相位相关的运动校正方法实现微泡的位置校准,可以减少呼吸心跳产生的微小运动对成像质量的影响[35].对于两帧需要校正的组织信号图像I1(x,z)和I2(x,z)=I1(x+∆x,z+∆z),其互相关表达式为

图2 uULM 常规流程(a)超快超声数据在体采集;(b)杂波滤除;(c)运动校准;(d)微泡定位;(e)微泡追踪;(f)超分辨率图像重建Fig.2.uULM conventional process:(a)In vivo acquisition of ultrafast ultrasound data;(b)clutter filtering;(c)motion correction;(d)microbubble localization;(e)microbubble tracking;(f)super-resolution image reconstruction.

其中F(I2)*是F(I2)的共轭函数,∆x,∆z为两帧之间的位移,通过位移即可实现对微泡位置的校正.

将每个数据块的参考帧与第一个数据块的参考帧相关,得到数据块之间的位移,可以实现各个数据块之间的运动校正.

高油玉米施肥，一般施氮素300～380kg/hm2、五氧化二磷 125～160kg/hm2、氧化钾 75～118kg/hm2。具体施肥方法以一次底肥2次追肥为好，底肥一般施有机肥15～30t/hm2、五氧化二磷 120～150kg/hm2、氧化钾 75～118kg/hm2、氮素120～150 kg/hm2、硫酸锌 15～30kg/hm2。追肥一般在苗期施氮素30～45 kg/hm2，促进弱苗生长;拔节后6d重施穗肥，施氮素150～180kg/hm2。在施肥过程中，注意氮、磷、钾合理配施，这对提高粒重、胚重，尤其对提高籽粒含油量有显著作用。磷是提高籽粒含油率的主导因素，基肥要重视磷的施入。

在波束形成后的IQ 图像中,可借助局部极大值识别单个微泡.随后,使用径向对称定位算法实现对微泡中心的精准定位[36](图2(d)).RS 算法利用强度梯度来寻找微泡的中心.由于以其最大值为中心的对称强度剖面上的每一点的强度梯度总是指向该最大值,将微泡中心至等势线的距离最小化的方法便可以用来定位微泡.

对定位后的图像使用基于Kuhn-Munkres 算法的追踪算法获得微泡的轨迹[36](图2(e)).对于每个微泡,该算法计算出其与后续帧中所有微泡的距离.然后,通过最小化总平方距离找到微泡的最佳配对.之后对轨迹进行筛选,去除过短或不合理的轨迹,对其余轨迹进行插值,以恢复轨迹中微泡在两帧之间缺失的数据点,从而重建出连续的微血管信号.

2.5 GAN-uULM 模型

生成对抗网络(generative adversarial network,GAN)[37]在图像生成领域得到了广泛的研究和应用.它由生成器G 与鉴别器D 两个模型组成,两个模型交替训练以相互竞争.鉴别器的目标是对真实图像和生成的“假”图像进行分类,而生成器的目标是欺骗鉴别器,使生成的图像与真实图像无法区分.与其他方法模糊且分辨率低的结果相比,GAN可以生成清晰可信的图像,满足超分辨率成像的需求.图3 展示了GAN-uULM 模型的总体框架.

2.5.1 基于U-Net 实现的GAN 网络

如图3 所示,生成器G 采用一个U-Net 模型,包括一个编码器和一个解码器.U-Net 网络是一种特殊类型的卷积神经网络,已被证明能有效学习图像的多尺度表示和精确的像素级映射[38].编码器网络中的每个编码器层组由一组卷积层、批标准化(batch normalization,BN)和修正线性单元(rectified-linear unit,ReLU)组成,之后是池化操作.编码器层组重复四次,以实现高效的数据压缩.在编码器网络输出之后,U-Net 网络应用具有相同数量的解码器层组成的解码器网络,通过上采样恢复高分辨率特征图.解码器网络是编码器的反向过程,由上采样层、卷积层、BN和ReLU 函数组成.跳跃连接用于将编码器的输出特征映射连接到解码器中每个对称块的输入特征映射.通过跳跃连接,解码器可以了解更多关于输入的相关信息.

图3 GAN-uULM 方法整体框架Fig.3.Overall architecture of the GAN-uULM method.

输入的微泡图像采用3×3的卷积核进行卷积,并使用dropout[39]优化运算,避免过拟合.池化操作中,过滤器尺寸均为2×2,进行最大池化.在上采样中对图像采用2× 2的卷积核进行反卷积操作.为测量GAN-uULM 输出和微泡轨迹图像之间的差异,使用L1 范数与多尺度结构相似性指数(MS-SSIM)[40]的加权平均值作为损失函数.MSSSIM 容易导致亮度的改变和颜色的偏差,但能保留图像的边缘和细节信息,而L1 损失函数能较好地保持亮度和颜色信息:

其中S为输入的微泡定位图像;T为相应的微泡轨迹图像;A为网络的实际输出;E表示期望;pdata(S,T)是训练数据集中微泡定位图像S和微泡轨迹T的联合概率密度;M S−SSIM(A,T)是A和T之间的多尺度结构相似性指数;Gσ是高斯平滑核;*表示卷积;|A −T|是绝对差分图像(即|A(i,j)−T(i,j)|);ρ∈[0,1]是一个标量权重,用于平衡MSSSIM和L1 范数的相对贡献[41].

2.5.2 鉴别器网络

2.5.3 网络整体架构

在生成对抗网络的生成器与鉴别器构建中,用U-Net 作为生成器,生成微泡轨迹图像,然后将微泡轨迹标签图像与生成器微泡轨迹图像输入鉴别网络内进行鉴别,并根据前述方法进行鉴别器模型优化.生成器输出在鉴别器中判别为真实值,则可证明生成器网络的有效性.鉴别器网络中提取了生成器微泡轨迹图像与微泡轨迹标签图像的特征,根据特征图像计算二者差别,有助于整体模型梯度优化.模型总损失函数LSUM(G)由超分辨率重建误差LSR(G)和生成性对抗网络损失函数LGAN(G,D)两部分组成:

其中权重λ是超参数,对于本文实验,其默认值为0.02.

网络采用了随机旋转、裁剪、平移和弹性变形等数据增强方式,并在输入图像中添加高斯噪声,以模拟错误检测和非特定标记,从而降低过拟合风险.因此,在不过度拟合的情况下,只需要少量微泡轨迹图像即可成功训练.本文使用随机梯度下降和Adam 对生成器网络进行端到端的训练,批量大小为1,迭代次数为200000.采用来自Nvidia的Tesla P100 图形处理单元进行网络训练和测试.在图形处理单元上,GAN-uULM 需要数小时到数天的时间完成训练,但从之前训练过的GANuULM 开始,可以在更短的时间内完成再训练,具体时长由批量大小和迭代次数控制.在本研究中,通过法国Langvein 实验室提供的公开超声数据生成了100 对微泡定位图像和相应的标签,并将其用作训练集[42].经过训练后,GAN-uULM 网络可以将微泡定位图像数据作为输入,并在不到一秒钟的时间内输出重建的微泡轨迹图像.

3 实验设计

采用128 阵元的线阵探头L22-14v,相邻阵元间距0.1 mm,发射信号中心频率为15.625 MHz.采用5 个不同角度的平面波(–5°,–2°,0°,+2°,+5°),脉冲重复频率为31250 Hz,合成帧率为1000 Hz.Vincent等[42]研究表明重建大鼠脑微血管并获得可靠的成像质量通常需要240 s的采集时长,对应240 个数据块.因此,实验共采集292 个数据块,每个数据块记录600 帧.

所有动物实验均经复旦大学动物研究伦理委员会批准(批件号:202202020Z).如图4 所示搭建超快超分辨率超声成像平台,该平台由超声探头、脑立体定位仪、位移平台、麻醉机等部件组成,可实现基于超快超声Doppler的三维脑血管成像(空间分辨率约100 µm)和基于超声定位显微的大鼠脑微血管成像(空间分辨率<20 µm).实验在400 g成年雄性Sprague-Dawley 大鼠上进行,实验前对大鼠进行开颅手术,下腹腔注射浓度8%的水合氯醛溶液实现麻醉后,将大鼠头部置于脑立体定位仪,使用颅钻打开约10 mm× 10 mm的颅窗,以适应超声换能器阵列的尺寸.为了防止大脑皮层肿胀或过热,手术过程中用生理盐水冷却颅骨创面.手术及实验全程均在动物麻醉状态下进行.

图4 小动物用超快超分辨率超声脑成像实验平台Fig.4.Ultrafast super-resolution ultrasound brain imaging experimental platform for small animals.

为重建大鼠大脑的血管显微结构,将超声微泡粉末(SonoVue,Bracco,Milan,Italy)溶解于5 mL生理盐水中,产生浓度为2× 108个微泡/毫升的造影剂溶液[16].将该造影剂溶液通过颈静脉注射,以60 µL/min的恒定速率注射180 µL,注射30 s 后对大鼠大脑冠状面进行超快超声图像采集.微泡注射剂量参考0.8 mL/kg的标准,由于持续灌注的方式,注射造影剂后,血管网络中微泡的浓度不会随时间而变化[43].由于微泡浓度和注射方式与训练集数据采取的方式一致[42],故训练集和实验所得的测试集数据微泡浓度没有差别.

4 实验结果

4.1 超分辨率超声微血流成像结果

图5为使用标准uULM 方法(图5(a))和GANuULM 方法(图5(b))所得到的大鼠大脑uULM重建结果.这两种方法都以高对比度和亚波长级分辨率解析了冠状面大鼠脑微血管.相比于标准uULM方法,GAN-uULM的血管造影提供了更高的对比度,并分辨出标准uULM 方法无法检测到以及显示断续的小血管(详见图5 中放大的区域).

图6(a)和(b)分别给出了图5 中标准uULM和GAN-uULM的局部血管造影特写图,可以观察到GAN-uULM 在200 µm和700 µm 处分别多分辨出一条血管.这说明相比标准的uULM 方法,GAN-uULM 能够分辨更多的血管,尤其是显示断续的小血管.如图6(c)所示,从血管横向强度分布来看,GAN-uULM 方法比标准uULM 方法提供了更好的分辨率.

图5 大鼠脑超分辨率定位显微(a)使用标准uULM 方法的血管造影;(b)使用GAN-uULM 方法的血管造影Fig.5.Ultrasound Localization Microscopy in a rat brain:(a)Angiogram reconstruction using the standard uULM method;(b)angiogram reconstruction using the GAN-uULM method.

图6 全血管造影的局部特写及其沿白色虚线的强度分布图.使用标准uULM(a)和GAN-uULM(b)分别对体内数据集进行uULM 血管造影得到的局部放大图;(c)绿色和蓝色曲线表示沿水平虚线的强度分布图Fig.6.Zoomed-in regions of interest from the whole angiogram and their intensity profiles along the white dashed line.Magnified regions from uULM Angiograms for an in-vivo dataset using the standard uULM method(a)and the GAN-uULM(b);(c)the intensity profiles along a given horizontal dashed line overlaid in green and blue.

4.2 GAN-uULM 成像参数分析

4.2.1 血管饱和度

血管饱和度被量化为有血管造影部分和总面积(即有血管造影部分与无血管造影部分面积)的比值.uULM 重建图像的血管饱和度参数会随着用于重建的数据量增加而增加,因而血管饱和度随重建图像帧的变化曲线可反映uULM 达到稳定重建所需要的平均采集时间.高效的重建算法将提供较为陡峭的血管饱和度曲线.图7 对比了标准uULM重建算法和GAN-uULM 重建方法的血管饱和度随图像采集时长的变化曲线,以分析重建中所使用的数据采集持续时间对恢复血管网络血管造影的影响.如图7 所示,当使用GAN-uULM 方法时,约一半的采集时长,即可得到与标准uULM 重建算法相同水平的图像饱和度.同时,在数据采集时间为292 s(全部采集时长)时,标准uULM 方法的网络填充率仅为33%,GAN-uULM 方法的网络填充率为46%,进一步验证了GAN-uULM 能够显著提升图像的饱和度.具体地,两种方法使用不同数据采集时长对应的uULM 图像如图8 所示.对于GAN-uULM,即使采集时间压缩到40 s,依然可以生成与数据采集时间为292 s的标准uULM重建算法所获结果相似的血流图像,保证了血流的连续性与丰富性.当采集时间为80 s(图8(c)和图8(d)),可较为清晰的观察到GAN-uULM 对远场血流有更好的重建能力.

图7 血管饱和度与累积采集时长的关系曲线Fig.7.The relationship curves between vascular saturation and cumulative acquisition time.

图8 不同采集时长对应的超分辨率血流图像(a),(b)uULM和GAN-uULM 在采集时长为40 s 时的血流图像;(c),(d)uULM和GAN-uULM 在采集时长为80 s 时的血流图像Fig.8.Super-resolution blood flow images with different cumulative acquisition times:(a),(b)The results of uULM and GANuULM with acquisition time of 40 s;(c),(d)the results of uULM and GAN-uULM with acquisition time of 80 s.

4.2.2 成像分辨率

对292 s 连续采集的超声图像分别采用标准uULM和GAN-uULM 方法重建超分辨率血流图像,图9 给出了这两张图像基于FRC 曲线的分辨率测量结果;图9(a)和图9(b)将轨迹数据随机分成两份,重建出两个子图像.然后将两个子图像作二维傅里叶变换,计算这两个频谱沿等空间频率环的归一相关性,如图9(c)和图9(d)所示.所得FRC 曲线与1/2 bit(黄色)阈值曲线的两个交点被用于测定图像分辨率,如图9(e)所示.在本数据中,标准uULM 所获分辨率结果略优于GAN-uULM方法分辨率,总体相当,分别为7.8 µm和8.9 µm.

图9 基于FRC 曲线的分辨率测量(a),(b)将重建结果随机拆分的两个子图像;(c),(d)2D FFT 得到频谱图;(e)FRC 曲线,FRC 曲线与1/2 bit(黄色)阈值曲线的两个交点被用于测定图像分辨率;(f)分辨率与累积采集时长的关系曲线Fig.9.Resolution measurements based on FRC curves:(a),(b)Two sub-images obtained by randomly splitting the reconstruction results;(c),(d)the frequency spectrograms obtained by 2D FFT;(e)the FRC curves,the two intersections of the FRC curves with the 1/2 bit(yellow)threshold curve are used to determine the image resolution;(f)the relationship curves between resolution and cumulative acquisition time.

图9(f)进一步探讨了采集时长与重建分辨率的关系.采用GAN-uULM 方法,图像分辨率的数值总体上较为平衡,随着采集时间的增加会略有改善,即由最初的12.5 µm 下降至8.9 µm;与之相反地,采用标准uULM 方法,图像分辨率的数值却会随着采集时间的增加而“变差”,上升至7.8 µm.该矛盾现象的可能解释为:在少量图像帧输入情况下,标准uULM 方法的图像饱和度较低,微泡数量较少使得血管轨迹相对稀疏,因而基于FRC 曲线的分辨率值估计结果偏低.随着饱和度的提升,由微泡轨迹重建得到的血管更加接近真实血管,分辨率数值缓慢上升并逐渐向真实值靠近.这也进一步表明,基于传统的uULM 方法重建结果,若结果未收敛,易于给出虚假的高分辨率结果.

5 讨论

超快超声成像可实时呈现高质量的血流图像,但受到衍射极限的限制,当超声波在两个物体之间传播时,只有当它们之间的距离超过半个波长时才能被区分开.而微循环系统中最小的毛细血管直径小于10 µm;因此,由于分辨率的限制,传统超快超声成像尚无法精细观察数十微米级的血管网络结构细节.

uULM 突破了传统超声分辨率局限,通过累积成千上万个亚波长的微泡定位点,可获得分辨率远小于发射波长的超分辨率超声图像,从而实现微血管成像.然而,现有的微泡轨迹连接方法,存在数据处理时间长、参数调整繁杂等问题.在Kuhn-Munkres 追踪算法中,需要根据实验数据的特点人为设定微泡间最大连接距离、轨迹内允许微泡连续消失帧数等参数.在轨迹连接后,还需设定轨迹长度筛选阈值,将错误轨迹滤除.相关调参操作繁琐且依赖于使用者的经验,且易引入人工误差.为克服以上局限,本文提出了一种GAN-uULM 网络用于从定位后的微泡数据中恢复密集的血管图像.网络输入信号为微泡中心定位结果,而相应用于血管重建的微泡轨迹图像被定义为网络期望输出.通过该模型学习轨迹图像和微泡分布之间的映射,直接由微泡定位结果生成微泡运动轨迹,并最终实现uULM 成像.该模型利用了生物图像结构冗余的特性,允许在不牺牲空间分辨率的情况下减少总帧数和采集时间,实现高效的超分辨率微血管成像.

GAN-uULM 建立在U-net和GAN的基础上,其中,U-net是一种特殊类型的卷积神经网络,能够有效地学习图像的多尺度表示和精确的像素级映射,在该模型中作为GAN的生成器网络.GAN由输出合成图像的生成器网络和输出输入图像为真实图像或合成图像的概率的鉴别器网络组成,这两个网络同时进行训练以相互竞争,优化成像结果.在体实验结果表明,GAN-uULM 比标准uULM方法具有更好的轨迹连接能力.经过训练的模型可以从不完整的微泡轨迹预测血管的存在(图6),进而将采集时间缩短一倍(图7),同时还具有数据处理速度快,数据采集时间短,轨迹连接精度高的特征.此外,在轨迹连接过程中,GAN-uULM 可有效减小计算复杂度,避免参数精细调节,减小对人工干预的依赖性.

通过血管饱和度(图7)和图像分辨率(图9(f))随采集时长变化关系曲线,本研究对比分析标准uULM 重建方法和GAN-uULM 重建方法的性能.值得注意的,如图7 所示,当数据累积时长较小时,标准uULM 方法的重建图像饱和度较低,在40 s的采集时长时仅为11.8%,远低于GAN-uULM 方法所获得的20.4%的血管饱和度值.与之对应地,当数据累积时长较小时,标准uULM 方法血管轨迹稀疏,采用FRC 曲线进行分辨率分析时,会获得显著偏低甚至错误的分辨率结果;随着饱和度增加,标准uULM 方法的分辨率估计结果缓慢上升并逐渐接近真实值.然而,本文提出的GAN-uULM方法可在较少的数据累积时长条件下,获得较高的血管饱和度和较为稳定的分辨率结果,其最终收敛结果与标准uULM 方法相当.大鼠脑血管结果表明,GAN-uULM 可以分辨直径小至10 µm的微小血管(图9(e)).

在uULM 成像过程中,大血管内流动的微泡数量多,因此可以在较短的时间内完成大血管重建.随着大血管重建不断清晰,成像饱和度快速上升,随后的微小血管重建速度较慢,需要相对长的数据采集时间才能较好地完成重建[42].因此,需要在成像饱和度与采集时长之间加以权衡,虽然可通过损失微血管细节从而减少数据采集时长,但是这必然伴随着成像质量的下降和细节信息的缺失.此外,提高造影剂浓度,可使得单位时间内微泡数量增加,促使饱和度曲线收敛加快,进而缩短成像时长.但高浓度微泡会导致彼此靠近的微泡产生信号干扰,给算法带来挑战,因此高浓度微泡下的GAN-uULM的成像效果有待进一步深入.

6 结论

本文提出了一种基于生成对抗网络的深度学习超分辨超声成像方法,用于从定位后的运动微泡数据中恢复密集的血管网络.实验结果表明,与标准uULM 方法相比,GAN-uULM 避免了相对烦琐的逐帧微泡轨迹连接过程,可在保持超分辨率血管造影精度的同时,缩减重建所需图像数量,从而显著提升成像效率.相关技术可在数十秒的时间内对组织微血流进行超分辨率成像,较好地缓解了高空间分辨率和高时间分辨率之间的矛盾.本文所提出的GAN-uULM 方法,在避免微泡轨迹阈值优化筛选的同时,可显著降低uULM 对数据采集时长需求,相关方法在超分辨超声微血流成像方面具有一定应用潜力.