基于视觉显著性信息的图像轮廓检测

郭笑天 范影乐 李康群 王 典 武 薇

(杭州电子科技大学模式识别与图像处理实验室 浙江 杭州 310018)

基于视觉显著性信息的图像轮廓检测

郭笑天 范影乐*李康群 王 典 武 薇

(杭州电子科技大学模式识别与图像处理实验室 浙江 杭州 310018)

融合视皮层边界响应与显著性信息，提出一种图像轮廓检测新方法。利用高斯导函数获得初级视皮层(V1)的多方向梯度响应，同时基于感受野机制设置Leaky integrate-and-fire神经元网络的突触兴奋和抑制电流；通过神经元脉冲频率信息，获得视觉显著性信息；反馈并调控V1的视觉响应，得到图像轮廓。以RuG图像库为例，与ISO等方法相比，该方法在综合评价指标上具有优势。基于视觉显著性信息的传递和处理过程，将为后续的图像分析和理解提供新思路。

轮廓检测 显著性信息 初级视皮层 脉冲频率

0 引 言

轮廓信息是对图像进行空间冗余度消除后的常见特征，在后续图像的分析和理解起着关键的作用。而人类视觉系统在实现对周围环境或目标的感知时，对图像轮廓检测具有突出的敏感性和高效性。因此如何从生物视觉机制研究出发，研究视觉信息流的传递和处理过程，并建立以神经电生理为基础的视觉神经计算模型就显得非常有意义。目前有仅基于初级视皮层感受野的Noninh方法，也有研究利用空间稀疏特性抑制纹理，并基于颜色双拮抗机制来有效提取彩色图像轮廓信息的SSC方法[1]。另外还有研究基于V1的经典感受野和非经典感受野组合，在抑制纹理细节的基础上实现轮廓线段多方向感知的ISO方法[2]。需要指出的是，虽然上述轮廓检测方法利用图像的多特征融合[3-4]，考虑到了包括感受野在内的视觉机制作用，但对视觉信息流的神经脉冲时空编码过程进行了数学上的简化，从本质上仍然是一种基于邻域描述算子的滤波方法。本文构建LIF神经元电生理网络模型，模拟V1对视觉激励的方向和位置选择机制，利用经典/非经典感受野的差异性特征来获取图像的显著性信息，发挥高级视皮层的反馈作用，对V1多方向梯度响应进行调控，最终获得图像的轮廓检测结果。

1 基本原理

视觉神经实验表明，初级视皮层对视觉激励具有明显的方向性和位置选择性，虽然V1已经能够感知视觉目标中的线和点等初级梯度信息。但对于如何过滤隐含在梯度信息中的纹理边缘，并获得更高层次上的对于面和立体结构的理解，应该考虑到高级视皮层对视觉信息流的反馈调控作用。本文利用二维高斯导函数，提取视觉激励的多方向梯度信息，并降低多方向梯度信息的冗余度；构建Leaky integrate-and-fire(LIF)神经元网络模型[5]，同时基于感受野机制设置网络突触的兴奋和抑制电流，提取显著性信息并反馈到V1以此提取图像轮廓。本文轮廓检测方法的流程如图1所示。

图1 轮廓检测框架

1.1 神经元网络模型

在视觉信息流传递与处理过程中，视皮层神经元通过脉冲放电的形式对视觉激励进行方向和位置等信息的编码，因此需构建具有高效计算性能的神经元网络模型。考虑动作电位具体波形对神经信息编码[6]的冗余性，本文选择LIF神经元作为网络模型的基本单元，由于神经元脉冲发放存在不应期特性，所以引入时间参数ref来调整模型的动力学行为。改进后的LIF如式(1)所示：

(1)

其中v、vth、vreset、vG分别表示为神经元膜电位、脉冲发放阈值电位、静息电位以及脉冲峰值电位；cm和g1分别为膜电容和等效漏电导；Isyn对应于突触输入电流，是兴奋和抑制两部分电流有符号加和的结果。本文按如下方式添加绝对不应期的作用：当膜电位v达到脉冲发放阈值电位时，v将瞬时被置为脉冲峰值电位，同时神经元将进入绝对不应期，不再响应任何激励，直到时间参数ref被重新置为0。

1.2 初级视皮层的多方向梯度响应

V1神经元在感知来自膝状体的视觉信息时，关注于信息的相对梯度特征，表现出对方向θi和位置(x,y)的选择特性。设输入图像为I(x,y)，将图像与特定尺度因子的高斯导函数进行卷积运算，结果取绝对值即为V1多方向梯度响应，如式(2)所示。

(2)

考虑到方向信息的遍历性，当计算nθ个方向梯度响应时，有：

(3)

对于特定的位置(x,y)而言，本文选取方向梯度响应的极大值，并按响应比重进行加权处理，将结果E(x,y)作为多方向梯度响应的输出，如式(4)和式(5)所示。

emax=max{ei(x,yθi)}i=1,2,…,nθ

(4)

(5)

1.3 信息流的显著性提取与反馈

在视觉信息流的传递和处理过程中，存在自下向上和自上向下两种通路，前者利用点和线条的颜色或纹理等特征，通过冗余度去除来获取视野中的显著性信息[7]，而后者是将来自高级视皮层的信息流逆向反馈至V1[8]，对多方向梯度响应进行调控。

本文首先提取视觉激励的多方向梯度信息，经过移动局部窗操作，获得神经元突触的兴奋电流；然后利用非经典感受野机制获得突触抑制电流，以LIF神经元的脉冲发放频率作为显著性输出；最后反馈并与初级视皮层的多方向梯度信息进行融合，获得轮廓检测结果。

1.3.1 信息流的显著性提取

视觉神经实验证实，对于特定的视觉激励而言，视觉神经系统只有部分神经元被激发，这将有利于提高神经编码效率。因此本文首先进行高斯导函数卷积来获得图像的多方向梯度信息，并更多关注于图像中目标的整体轮廓信息，减弱与背景纹理相对应的冗余信息描述。以图像某像素点(x,y)为例，构建以其为中心的局部方形窗W，按式(6)求窗内多方向梯度响应的均值作为突触兴奋电流，其中mean()为均值函数。

(6)

研究表明，非经典感受野的去抑制作用将有助于局部空间特征的提取。因此本文将充分利用经典感受野和非经典感受野对于视觉激励的不同响应，利用两者的差异性来设置突触抑制电流。考虑到经典感受野区域外还有更大范围的非经典感受野起到去抑制的作用，所以在研究局部空间特征时，计算经典/非经典感受野对视觉响应的差异性，如式(7)所示，λ用来表示经典感受野和非经典感受野之间的差异程度，可用两者的比值来度量。

及早采取有效的并发症防控措施，不但需要进行感染防控，同时还需要根据患者实际病情以及可能出现的其他并发症情况采取相应的并发症防控措施。针刺穴位以及腹部按摩等形式能够降低尿潴留发生率，适当进行床上活动以及下床锻炼可加快肠胃蠕动[4] 。

(7)

其中：

(8)

(9)

h(x,y)表示为方差为σ的高斯函数，DoG+(x,y)则是方差为ρσ和σ的两个高斯函数差值的绝对值。其中σ对应于经典感受野区域的尺寸，ρσ则表示非经典感受野区域尺寸，通常ρ可取为4。

将式(7)所获得的感受野差异性，经过式(10)所示的幂指数归一化操作，获得突触抑制电流。

(10)

式中，参数ε为抑制强度调节参数，设为0.08。

最终突触电流是如式(11)所示的突触兴奋电流和抑制电流的加权和，其中α为突触抑制系数。

Isyn(x,y)=Isyn(x,y)-α·Iinh(x,y)

(11)

当根据感受野机制获得突触电流后，将其作为式(1)所描述的神经元输入，以神经元的脉冲发放频率作为图像的显著性提取结果，表示为μr(x,y)。

1.3.2 信息流的反馈

正如前述，在视觉通路中存在着自上向下的途径，同时高级视皮层基于对信息流的理解，将处理结果反馈[9]至低级皮层，对后者的响应进行调控。因此本文将获得的显著性结果反馈到初级视皮层，与最终的多方向梯度信息进行融合，从而得到轮廓检测结果为：

SE(x,y)=μr(x,y)×E(x,y)

(12)

2 实验结果

本文选取在轮廓检测中常见的数据库(RUG)作为实验用图，RUG中每一幅图都提供了由人工所绘制的基准轮廓图。不失一般性，本文以数据库中的部分图像为例来说明方法的有效性，如图2所示。同时本文选取了前述Noninh、SSC以及ISO等主流的轮廓检测方法进行比较，如图3所示。其中实验参数σ=2，nθ=8，突触抑制系数α=[0.6∶0.1∶1.5]，即从0.6取值到1.5，每次增加0.1，获取最佳的综合指标P。

图2 实验用图及其基准轮廓图

图3 轮廓检测结果

图2中，(a) 待处理图像，分别为golfcart、tiger、elepelephant；(b) 对应的基准轮廓图。图3中，(a) Noninh方法；(b) SSC方法；(c) ISO方法；(d) 本文方法。

本文利用轮廓检测中常见的评价指标[2]进行定量比较。考虑到基准轮廓图由人工绘制，虽然是多人结果的平均，但仍具有一定的主观性，所以在定量评价时，在基准轮廓的5×5邻域内的波动即可视为正检。轮廓检测的正确集E、错误集EFP、漏检集EFN、错检指标eFP、漏检指标eFN和综合指标P分别如式(13)-式(18)所示。

E=ED∩(EGT⊕T)

(13)

EFP=ED-E

(14)

EFN=EGT-(EGT∩(ED⊕T))

(15)

eFP=card(EFP)/card(E)

(16)

eFN=card(EFN)/card(EGT)

(17)

(18)

其中ED和EGT分别代表轮廓检测结果的像素集和基准轮廓像素集，⊕表示对像素进行膨胀操作，T表示边长为5的方形邻域单元。轮廓检测结果的定量数据如表1所示。

表1 轮廓检测的性能指标

3 分析与讨论

从图3可以看出，基于初级视皮层感受野特性的Noninh方法，其缺乏高级皮层的反馈调控，因此从结果看轮廓细节与纹理背景之间的区分度较弱，整体误检率较高；基于颜色双拮抗机制的SSC方法，较好地利用了颜色成分在轮廓检测中的作用，但从结果中可以看出在轮廓细节附近的纹理干扰较大；而融合经典和非经典感受野的ISO方法，考虑了局部细节与全局特征的关联性，与前两者相比，轮廓误检率有所下降。而本文提出的新方法，体现了低级和高级视皮层之间的交互作用，融合图像多方向梯度信息与显著性信息，因此从视觉上看整体轮廓较为清晰，相对于前述方法具有显著的优势。

从表1的性能指标来看，Noninh方法的漏检指标eFN较低，但错检指标eFP显著高于其他方法，表明该方法的轮廓检测结果混入了较多的纹理干扰，因此综合指标P均为最低。观察SSC方法的实验结果，虽然eFP较前者有所下降，但对应的eFN却相应增大，所以从综合指标P来评价，性能并没有明显改善。而对于ISO和本文方法，在保持漏检率基本不变的情况下，在错检指标eFP上有了明显的改善，因此与Noninh和SSC方法相比较，整体性能上有了较大提高。需要进一步指出的是，Noninh方法和SSC方法的漏检指标均略低于本文方法，但它们的错检指标远高于本文方法。以上两种方法均存在过检测的情况，而导致纹理信息干扰大，虽使得漏检指标较低，但仍无法弥补较高错检率所导致的综合性能不佳。而ISO方法与本文方法的错检和漏检指标较为接近，其中图Tiger和图Elephant所对应的错检指标稍低于本文方法，但漏检指标偏大，得到的综合评价指标低于本文方法；而图Golfcart对应的错检和漏检指标均略高于本文方法结果。综合以上分析可知，本文方法在错检和漏检指标上达到一种均衡，从综合评价指标P看出，相比其他方法具有更理想的轮廓检测性能。

综上所述，Noninh没有考虑到纹理抑制，因此从结果来看属于一种轮廓过检测的状态；SSC方法考虑了图像的局部特征，利用了视锥细胞的颜色双拮抗机制，但这只是视觉通路上的一个前期环节，因此从结果来看，尤其是在轮廓细节点附近，其对于纹理背景的干扰处理并不理想；而ISO方法利用经典感受野和非经典感受野对于视觉激励的调制作用，在一定程度上体现了局部细节和全局轮廓之间的关联性，但仍然是一种单向的视觉信息流处理方式。而本文利用初级视皮层的多方向梯度响应，同时降低细节冗余度，关注于图像的整体特征，然后利用生物视觉系统的感受野特性提取显著性信息，并利用自上而下的视通路途径，将显著性信息与低级视皮层所获取的多方向梯度信息进行融合，从而获得轮廓检测结果。因此从理论分析和实验结果来看，这种结合自下而上和自上而下的视觉信息流传递和处理方式，既能有效降低轮廓点的漏检，同时又能够充分抑制纹理对检测的干扰。

4 结 语

本文考虑视通路中视觉信息流的双向传递和处理问题，首先模拟低级视皮层提取视觉激励的多方向梯度信息，并通过降低冗余度的方法来弱化纹理特征，关注于具有整体性和连续性的轮廓细节；然后基于经典感受野和非经典感受野特性，利用两者的响应差值去设置LIF神经元网络的突触输入电流，从而提取图像的显著性信息；最后本文模拟高级视皮层对视觉信息流的反馈调控作用，将来自高级视皮层的显著性信息和来自低级视皮层的方向梯度信息进行融合，获得轮廓检测结果，实验结果验证了方法的有效性。本文创新主要体现在：(1) 提出了一种基于视觉信息处理机制的图像显著性提取新方法。利用局部移动窗获取V1层面的多方向梯度响应，结合一种基于突触电流调制的经典和非经典感受野机制，采用高级视皮层的神经元脉冲发放频率作为图像的显著性提取结果。(2) 提出了一种基于高级视皮层反馈及调控机制的图像轮廓感知新方法。考虑从上向下的视通路信息流传递过程，引入高级视皮层显著性信息的反向投射，融合V1方向梯度响应，从而获得最终的轮廓感知结果。突出了生物视觉系统信息处理能力的应用研究。本文新方法将为基于生物视觉机制的图像分析或理解应用研究提供一种新的途径和思路。

[1] Yang Kaifu,Gao Shaobing,Guo Cefeng,et al.Boundary Detection Using Double-Opponency and Spatial Sparseness Constraint[J].IEEE Transactions on Image Processing,2015,24(8):2565-2578.

[2] Grigorescu C,Petkov N,Westenberg M.Contour detection based on nonclassical receptive field inhibition[J].IEEE Transactions on Image Processing,2003,12(7):729-739.

[3] Yang Kaifu,Li Chaoyi,Li Yongjie.Multifeature-based surround inhibition improves contour detection in natural images[J].IEEE Transactions on Image Processing,2014,23(12):5020-5032.

[4] Yang Kaifu,Li Chaoyi,Li Yongjie.Potential roles of the interaction between model V1 neurons with orientation-selective and non-selective surround inhibition in contour detection[J].Frontiers in neural circuits,2015,9(30):1-16.

[5] Chouhan A S.An analytical study of leaky integrate-and-fire neuron model using MATLAB simulation[J].International Journal of Engineering Research and Technology,2013,2(4):2242-2245.

[6] Zhu M,Rozell C J.Visual nonclassical receptive field effects emerge from sparse coding in a dynamical system[J].PLoS Computational Biology,2013,9(8):1-15.

[7] Wu Q,Mcginnity T M,Maguire L,et al.A visual attention model based on hierarchical spiking neural networks[J].Neurocomputing,2013,116:3-12.

[8] Chen Minggui,Yan Yin,Gong Xiajing,et al.Incremental integration of global contours through interplay between visual cortical areas[J].Neuron,2014,82(3):682-694.

[9] Liang Z,Shen W,Shou T.Enhancement of oblique effect in the cat’s primary visual cortex via orientation preference shifting induced by excitatory feedback from higher-order cortical area 21a[J].Neuroscience,2007,145(1):377-383.

IMAGECONTOURDETECTIONBASEDONVISUALSALIENCYINFORMATION

Guo Xiaotian Fan Yingle*Li Kangqun Wang Dian Wu Wei

(PatternRecognitionandImageProcessingLaboratory,HangzhouDianziUniversity,Hangzhou310018,Zhejiang,China)

By combining the visual cortical boundary response and saliency information, a new method of image contour detection is proposed. First, the derivative of Gaussian transform was introduced to get the gradient responses of primary visual cortex (V1) in multiple directions. Next the synaptic excitatory and inhibitory currents were specified based on receptive field mechanism in the LIF-neuron network. Visual saliency information was obtained by coding the spike frequency. Finally, the responses of neurons in V1 were modulated by feedback to get the image contour. The pictures used in this experiment were selected from the rug library. The results demonstrated that the proposed method had a significantly better performance than the traditional methods including ISO. The method for transmission and processing of visual saliency information will provide new ideas for the image analysis and understanding.

Contour detection Saliency information Primary visual cortex Spike frequency

TP317.4

A

10.3969/j.issn.1000-386x.2017.10.041

2016-11-03。国家自然科学基金项目(61501154)。郭笑天，硕士生，主研领域：视觉神经计算与图像处理。范影乐，教授。李康群，硕士生。王典，硕士生。武薇，讲师。