基于深度残差网络的医学超声图像多尺度边缘检测算法

李晓峰, 李 东, 王妍玮

(1. 黑龙江外国语学院 信息工程系, 哈尔滨 150025; 2. 哈尔滨工业大学 计算机科学与技术学院, 哈尔滨 150001; 3. 普度大学 机械工程系, 美国印第安纳州 西拉法叶市 IN47906)

超声图像可有效辅助医生准确判断和治疗人体疾病, 目前在医疗诊断中应用广泛[1-2]. 但在分析医学超声图像信息前, 需经过计算机处理, 以获取更精准的图像信息数据. 通过边缘检测技术获取图像中物体的边缘信息, 可为目标图像输出提供可靠的数据支持[3].

深度卷积神经网络在图像分析方面应用广泛, 但伴随网络深度的增加, 在卷积神经网络训练过程中, 易出现梯度过多或消失的情况, 导致训练不能正常进行. 由此产生了一种深度残差网络, 通过在卷积层中添加残差学习单元, 缓解网络训练问题, 效果较好. 陆永帅等[4]利用深度残差网络进行霾监测, 通过提取霾光谱曲线特征, 添加残差学习缓解神经网络训练问题, 基于数据分析完成霾监测, 结果表明该方法的识别精度较高; 段立娟等[5]采用多阶段学习策略推算小波系数, 提出了一种基于小波域的深度残差网络, 将神经网络与小波损失函数相结合完成图像超分辨率重建, 视觉效果较好; 查雄等[6]提出了一种基于深度残差网络的特定协议信号识别方法, 训练深度残差网络, 构建短波信号识别模型, 该方法对被强干扰遮挡条件下识别信号的准确率较高; Sultana等[7]提出了一种具有正规化Fisher框架的深层残留网络检测方法, 将类间方差信息整体最小化, 并将类间方差信息最大化, 分析了在类间散点矩阵中产生各种子空间的重要性, 然后利用总类间方差信息进行降维, 用于黑色素瘤的检测, 在多个据库上的实验结果表明, 与其他方法相比, 该方法效果较好.

图像边缘轮廓检测通过多尺度边缘检测进行图像的纹理特征重构和病理特征的边界特征提取, 以提高图像的识别和检测能力. 传统方法中, 对医学超声图像的边缘检测方法主要有背景差分法、 锐化模板增强技术、 活动轮廓特征检测方法等. 文献[8]对扫描图像的真实特征边缘进行数值模拟, 检测图像边缘信息, 通过构建两个模型用于放置样本图像和底物图像, 很好地将边缘特征和背景分离开, 该方法整体效果较好, 但计算复杂度较高, 收敛性较差； 文献[9]提出了基于锐化模板增强技术的医学超声图像多尺度边缘检测方法, 通过提取图像的不变矩, 实现图像的边缘轮廓检测, 提高了超声图像的病灶特征识别能力, 但该方法在进行复杂度较高的超声图像检测时识别性较差, 且计算开销较大； 文献[10]提出通过先分析数据驱动断层的原始数据特征进行图像重建, 然后提取其诊断的特征进行读取, 提高了成像速度与分辨能力; 文献[11]提出根据超生参数建立诊断模型, 使用代价敏感机器学习方法将模型进行对比验证, 效果显著, 降低了诊断代价, 有实用价值； 文献[12]提出结合MRI图像与超声图像部分功能, 在诊治过程中进行监控与导航, 该方法可实时获得准确的图像, 并能清晰显现肿瘤边界; 文献[13]提出了利用一个预处理器完成失真图像的边缘检测, 对于散斑图像中的每个像素, 预处理器首先确定其是否为噪声, 然后检查其是否位于边缘, 根据获取的信息, 预处理器可定义不同的加权系数均衡每个像素, 以此对处理后的图像执行边缘检测机制, 绘制边缘地图, 但该方法运行耗时长且收敛效果不佳. 针对上述问题, 本文提出一种基于深度残差网络的医学超声图像多尺度边缘检测算法, 增强处理医学超声图像信息, 并根据处理结果构建多尺度图像分割模型, 在分割轮廓基础上, 融合区域像素, 通过分析区域像素获取多尺度图像边缘特征; 根据深度残差网络进行底层图像信息的融合处理; 最后经平滑处理, 实现多尺度边缘检测. 实验结果表明, 本文算法的图像分割精度平均值为94.4%, 特征提取准确率在80%以上, 边缘点查全性较高, 算法检测耗时短, 收敛性高, 整体效果优于其他对比算法.

1 多尺度图像分割模型

深度残差神经网络可通过对模拟人类学习行为的积累, 重组知识结构, 不断完善自身性能. 为实现基于深度残差神经网络的医学超声图像多尺度边缘检测, 首先构建医学超声图像的多尺度图像分割模型, 然后通过对原始医学超声图像进行自动标注, 构建医学超声图像的灰度分布矩阵, 最后利用分布矩阵完成医学超声图像的多尺度图像分割. 以一张男性膀胱的超声扫描图为例, 其原始图像的自动标注过程如图1所示.

图1 医学超声图像的标注Fig.1 Annotation of medical ultrasonic image

根据图1医学超声图像的边缘标注模型, 进行医学超声图像的多尺度边缘检测和二值拟合[14-15], 构建医学超声图像的灰度图像分布矩阵为

(1)

对目标超声图像进行多尺度边缘检测, 在两个同质区域(目标和背景)内[16], 提取医学超声图像的局部灰度能量项, 采用锐化模板匹配技术进行医学超声图像信息增强处理, 在锐化模板区域Ω中, 医学超声图像I(x,y)被轮廓曲线Ki划分为灰度区域R1和背景R2, 基于形变模型的分割方法构建医学超声图像的多尺度图像分割模型G为

(2)

其中P(Ki)表示最大后验概率,μ表示医学超声图像重建的确定系数.构建医学超声图像的闭合曲线, 设置相关半径偏移量φ(x,y), 可得医学超声图像边缘轮廓分布的水平集函数为C={(x,y)∈Ω:φ(x,y)=0}.在目标区域被覆盖的区域, 采用模板匹配方法进行超声图像融合, 将图像划分为(Ω/16+1)×(G/16+1)个子块, 为医学超声图像多尺度边缘检测提供基础数据.

2 图像多尺度边缘特征提取

采用水平集量化特征分解方法[17]对医学超声图像进行多尺度边缘特征提取, 构造超声图像多尺度特征分解模型.本文构建的医学超声图像多尺度边缘轮廓模型W为

(3)

其中H(z)和D(z)分别为Heaviside函数和Dirac函数,N为图像像素总节点数.在分割轮廓上, 采用Rayleigh分布模型进行区域像素融合, 计算公式为

O=WG+N.

(4)

结合医学超声图像的边缘检测模板函数f1(x)和f2(x), 按照形状轮廓的形变和边缘模糊度, 可知f1(x)和f2(x)是模糊度变化的, 则超声图像的灰度像素水平集函数为

(5)

其中θ为每个等级包含的像素灰度特征量,L(φ)为边缘轮廓曲线长度约束项,φ为每个样本的灰度项.采用网格模板匹配方法定义超声图像的目标区域中心点[18-19].结合小波降噪方法得到超声图像降噪滤波输出为

(6)

其中:Zl表示超声图像降噪滤波函数;P(φ)为超声图像的多尺度边缘分布正则项,

(7)

式中ε为边缘模糊特征分布项.采用纹理像素集重建方法[20], 按照形状轮廓的形变特征对各子带图像进行二值化拟合, 计算公式为

(8)

从而可得每个样本数据的多尺度边缘特征为

(9)

3 算法设计

在提取得到多尺度边缘特征的基础上, 采用深度残差网络进行超声图像的底层图像信息融合处理, 以提高图像的多尺度边缘检测能力, 进而实现边缘检测.

3.1 深度残差网络

深度残差网络是为解决卷积神经网络因卷积层的增加导致性能退化而提出的一种深度学习框架, 通常利用非线性的卷积层构建残差映射, 在卷积层中增加残差学习单元.残差学习单元负责将卷积层对网络映射的学习转换为直接对残差映射的学习, 使网络运行更顺畅.本文的深度残差网络结构如图2所示.由图2可见, 深度残差网络包括卷积层、 归一化层、 激活层、 残差学习单元、 池化层、 全连接层和输出层.对于输入神经网络的医学超声图像, 深度残差网络首先在卷积层进行卷积操作, 步长设为1, 卷积核为3×3.残差学习运算后, 在池化层对图像进行平均池化操作, 窗口大小设为16×16.全连接层设置多个神经元, 输出多维向量[21].

图2 深度残差网络结构Fig.2 Structure of depth residual network

3.2 医学超声图像底层信息融合

在上述提取医学超声图像多尺度边缘特征的基础上, 进行医学超声图像底层图像信息融合处理.根据深度残差网络原理, 分析深度残差学习情况, 利用超声图像多尺度特征分解的深度残差学习因子进行医学超声图像的底层信息融合.深度残差网络学习模型如图3所示.

根据图3医学超声图像的多尺度边缘检测模型, 在深度残差网络下采用目标边缘标记点跟踪识别方法, 得到深度残差学习算法计算公式为

图3 医学超声图像边缘检测的深度残差网络学习模型Fig.3 Deep residual network learning model for edge detection of medical ultrasonic image

Cs=DTeilc,

(10)

其中ei表示超声图像多尺度特征分解的深度残差学习因子,lc表示残差学习程度.根据深度残差学习算法及多尺度边缘特征信息的耦合, 进行医学超声图像底层信息融合, 其过程为

(11)

基于上述计算, 可实现医学超声图像的底层图像信息融合, 再根据特征分解结果进行图像的多尺度边缘检测.

3.3 医学超声图像的多尺度边缘检测算法

利用医学超声图像底层图像信息融合结果, 实现基于深度残差网络的医学超声图像形状特征检测, 得到多尺度边缘检测结果, 算法描述如下.

算法1医学超声图像的多尺度边缘检测算法.

输入： 根据医学超声图像I(x,y), 构建医学超声图像边缘轮廓分布的水平集, 并得到医学超声底层图像融合信息Rh;

输出： 医学超声图像多尺度边缘检测结果.

初始化深度残差网络的参数.

步骤1) 应用医学超声底层图像融合信息Rh, 并采用深度残差网络进行超声图像多尺度平滑处理, 得到图像的平滑处理输出为

(12)

其中Kσ为医学超声图像的边缘尺度.

步骤2) 根据训练集进行超声图像的多尺度边缘检测, 训练得到样本集M, 表示为

(13)

其中d表示边缘系数.

步骤3) 根据训练集进行形状特征检测, 得到医学超声图像边缘尺度分布函数为

(14)

其中ω为高斯核函数.

步骤4) 结合深度残差网络进行自适应寻优及全局均衡控制, 在深度残差网络下采用目标边缘标记点跟踪识别方法, 实现医学超声图像多尺度边缘检测, 检测输出为

(15)

步骤5) 算法结束.

根据上述步骤可实现超声图像的多尺度边缘检测, 算法流程如图4所示.

图4 医学超声图像多尺度边缘检测流程Fig.4 Multi-scale edge detection process of medical ultrasonic image

4 实验结果与分析

4.1 实验环境和数据集

为测试本文算法在实现医学超声图像多尺度边缘检测中的性能, 对其进行仿真实验.实验采用MATLAB设计. 图像样本采自于MEDLINE数据库, 为1 200万张临床超声图像, 包括子宫肌瘤超声图像、 乳腺超声图像、 肝脏超声图像和肺部超声图像. 图像像素初始分辨率设为540×400, 图像边缘检测尺度分别设为30和50, 设λ1=1,λ2=1,μ=0.001, 模板分布为200×250, 网络尺度系数ν=2.5.根据上述参数进行超声图像多尺度边缘检测.实验所用数据集信息列于表1.

表1 实验数据集信息

4.2 实验步骤

1) 构建深度残差网络结构模型, 输入原始医学超声图像;

2) 采用MATLAB设计实验环境, 模拟医学超声图像分割及边缘状态;

3) 采用深度残差网络进行医学超声图像多尺度边缘检测, 输出检测结果;

4) 将本文算法实验结果与其他算法进行对比, 验证本文算法的性能.

4.3 实验评价指标

1) 分割精度. 图像分割是完成边缘检测的基础步骤, 因此对图像分割精度进行对比分析, 验证本文算法性能. 分割精度计算公式为

(16)

2) 特征提取准确率. 在边缘检测前, 本文先进行图像边缘特征提取. 为充分验证算法性能, 选取特征提取准确率进行分析, 计算公式为

(17)

3) 超声图像边界中间断区检测性能. 由于超声医学图像无明显边界, 因此易存在间断区, 通过对图像边界间断区的检测, 可提升图像边缘检测性能, 计算公式为

(18)

其中n表示图像数,ν表示学习尺度系数.

4) 检测边缘图像边缘点查全性.边缘点的检测效果是反映检测精度的最重要部分, 计算公式为

(19)

其中ψc表示边缘点间断区像素值,θ表示每个等级包含的像素特征量.

5) 时间开销.在相同样本数下不同检测速度有不同的检测时间, 即检测效率, 因此将检测时间设为一个评价指标, 计算公式为

(20)

其中R表示样本总数,Xi表示降噪结果取值,ρ表示像素点密度值.

6) 算法收敛性. 将本文算法与文献[5,7-8,13]算法的收敛性进行对比分析.

4.4 实验结果

将本文算法与文献[5,7-8,13]算法的图像分割精度进行对比, 结果列于表2. 由表2可见： 本文算法的图像分割精度平均值为94.4%, 文献[8]算法的分割精度最低, 平均值仅为61.1%, 远低于本文算法； 文献[5]和文献[7]算法的图像分割精度较接近, 但均不超过80%； 文献[13]算法的平均精度为83.0%, 相对较高, 但低于本文算法11.4%. 因此本文算法图像分割效果较好. 这是由于本文算法先标注了图像, 从而提高了分割精度. 不同算法特征提取准确率对比结果列于表3. 由表3可见, 无论测试数据量大小, 本文算法的特征提取准确率均在80%以上, 文献[13]算法的提取准确率较高, 为72.6%, 文献[7]算法的准确率最低, 未超过60%. 数据分析表明, 本文算法利用小波降噪方法对图像进行降噪滤波处理后提取边缘特征, 提高了准确率.

表2 不同算法的分割精度(%)对比

表3 不同算法的特征提取准确率(%)对比

对图1中医学超声原始图像进行图像的自动标注, 为多尺度边缘检测划分实验检测范围. 根据上述仿真环境及参数设定, 分别采用本文算法、 文献[5,7-8,13]算法判断图像中存在的间断区, 检测结果如图5所示.

图5 不同算法检测边界中存在的间断区Fig.5 Different algorithms for detecting discontinuous area in boundary

由图5可见： 文献[5]和文献[13]算法在进行间断区检测时, 能有效找到超声图像边缘的间断区域, 但其无法有效查询到全部间断区域; 文献[7]、 文献[8]算法在文献[5]的基础上查询到多处“间断区”, 但经查证, 右半部分并非间断区域, 故文献[7]、 文献[8]算法存在检测精度低的问题; 而本文算法在检测图像的间断区时, 具有较好的查全性. 这是由于本文算法在构建图像轮廓模式时, 采用了Heaviside函数和Dirac函数, 并考虑了形状轮廓的形变和边缘模糊度, 通过超声图像降噪滤波实现多尺度边缘特征的检测, 为边缘间断区的检索提供了有效依据.

在上述实验结果基础上, 分别采用本文算法、 文献[5,7-8,13]算法进行对比测试, 分析不同算法的边缘点查全性, 结果如图6所示. 由图6可见： 本文算法的边缘检测效果在边缘标注上更清晰, 能较好地保持图像的边缘； 文献[5,7-8,13]算法检测效果相对不佳, 尤其是文献[13]算法, 边缘点数量最少, 最不明显. 因此, 基于深度残差网络的医学超声图像边缘检测可有效检测到图像中大量的边缘点, 具有较高的查全性.

图6 不同算法仿真结果的边缘点Fig.6 Edge points of simulation results of different algorithms

测试检测的时间开销, 不同算法的对比结果如图7所示. 由图7可见： 在不同的样本数下, 本文算法所用的的时间开销较短, 具有很好的适应性和泛化能力； 其他对比算法随着样本数的增加, 检测耗时均呈下降趋势, 文献[8]的平均耗时相对较少, 但仍高于本文算法. 这是因为本文采用深度残差网络进行图像多边缘尺度检测, 深度残差网络运行效率高, 极大提高了检测效率.

图7 不同算法的时间开销对比Fig.7 Time cost comparison of different algorithms

算法的收敛性越高表示算法性能越好, 不同算法的收敛性对比结果如图8所示. 由图8可见： 文献[7]和文献[8]算法的收敛性基本相同, 约为45%, 曲线平稳； 文献[13]算法的收敛曲线有一定的波动性, 为40%～50%, 平均值接近45%; 文献[5]算法的收敛性最高， 为60%, 高于其他对比算法, 但远低于本文算法, 本文算法的收敛性高达82%. 因此, 本文融合图像底层信息, 为超声图像多尺度边缘检测提供了必要的数据依据, 提高了算法性能.

图8 不同算法的收敛性对比Fig.8 Convergence comparison of different algorithms

综上所述, 本文提出了一种基于深度残差网络的医学超声图像多尺度边缘检测算法, 采用视觉特征检测方法, 实现了医学超声图像优化设计, 提高了医学超声图像的视觉分辨能力.