基于HED网络的内河河道线提取

张惠良

(苏州市水利工程管理处，江苏 苏州 215000)

1 概 述

随着内河工业化以及河流沿岸人口数量飙升，向内河排放的工业废弃物量增加，河边农业活动以及乱丢生活垃圾都使得内河异物增加。为了实现智能识别内河河面上异物，有必要提取出准确清晰的内河河道线，精准的内河河道线能够较大程度提升河面异物的识别正确率。由于内河多有闸坝控制河流的流量，导致内河的河面会随闸坝的开闭情况上下起伏，因此需要一种实时性好、效果稳健的河道线提取算法。

传统图像算法中，图像分割指的是根据图像中各区域的灰度特征、色彩差异、纹理形状的不同，将图像划分为不同的区域，各区域内的像素特征呈现一定的规律性，使每个区域成为一个完整的背景或物体。图像分割算法大体包括基于像素阈值的图像分割、基于边缘的图像分割、基于区域的图像分割、基于能量泛函的分割方法。2013年6月，彭明阳等通过研究水域与河岸的饱和度、亮度特征上的差异，提取出基底图像并进行区域分割，最终通过边缘检测算子处理后提取出水岸线[1]。2013年12月，李春娟等结合形态学与hough直线检测算法，实现了水岸线提取[2]。2018年7月，余加俊等根据城乡河道的直线特征，使用Fitline直线拟合算法，在直线河道的提取上获得了较好的结果[3-4]。2019年5月，郑又能等根据图像lab模型中水域与河岸的l、a、b三分量的差异，粗略提取出水域roi，并基于最优化理论计算出最佳种子点，使用区域生长最终提取出河岸线[5]。

综上所述，经典图像算法对于复杂环境下的河道线提取效果无法达到河道线实际应用的要求。实际的内河河道大多包含许多的弯曲处，使直线检测算法无法提取出准确的河道；河道光照以及反射使河面表现出巨大的差异，使用经典图像算法自适应地将其准确分割。因此，本文引入HED神经网络算法，以实现更迅速、更鲁棒的内河河道线提取。

2 边缘检测算法

边缘检测的目的是提取出图像中目标区域与无关区域的边界，剔除与任务无关的图像信息，从而大幅提升图像运算任务的实时性。边缘在图像中大都存在于两个不同区域的交界处，由于不同区域交界处的像素值发生了剧烈的跳变，从而表现为边缘。

2.1 传统的边缘检测算法

实际的边缘检测方法一般基于边缘处像素值变化剧烈的特征，定义各种差分算子来计算得到图像的边缘图像。常用的边缘算子大多是一阶和二阶的，之所以不使用更高阶的算子是因为导数操作对噪声十分敏感，使得三阶以上的算子失去了实际使用的意义。低阶算子往往可以在使用前对图像进行平滑滤波，从而消除部分噪声的影响。

Sobel算子是典型的基于一阶导数的边缘检测算子，由于该算子中引入了类似局部平均的运算，因此对噪声具有平滑作用，能很好地消除噪声的影响。Sobel算子对于象素位置的影响作了加权，与Prewitt算子、Roberts算子相比，其效果更好[6-8]。

Laplace算子是一种二阶微分算子，算子本身具有各向同性和旋转不变性。若只关心边缘点的位置而不需要了解其周围的实际灰度差时，一般选择该算子提取图像的边缘。由于其对噪声比较敏感，所以很少用该算子检测边缘，而是用来判断边缘像素是位于图像的明区还是暗区[9]。

Canny边缘检测算法不是简单的图像运用算子卷积而已，它包含滤波平滑、计算梯度、非极大值抑制、双阈值抑制伪边缘4部分的图像运算。首先使用高斯算子模板对图像进行平滑模糊，滤除部分噪声。随后使用Sobel算子计算平滑后图像的边缘图像，并将非极大值点设置为背景，从而剔除一部分并非边缘的灰度跳变点。此时还存在伪边缘，通过双阈值限定并判断其像素连接特征得到较好结果。Canny方法不容易受噪声干扰，使用两种不同的阈值分别检测强边缘和弱边缘，并且当弱边缘和强边缘相连时，才将弱边缘包含在输出图像中，能够检测到真正的弱边缘[10]。

区域生长法是一种常用的区域分割方法，若能分割出河道区域，则可以很方便地提取出河道轮廓线。区域生长法是一种根据像素点某种属性的相似性进行聚类的分割方法，要进行区域生长首先要找到合适的生长种子点，种子点需要具备属于河道像素点最大程度的特征，随后根据指定的生长法则判断种子点与其周围点是否满足生长法则进行区域生长。区域生长法的关键在于最优种子点的筛选，以及选择一个较好的生长法则[11]。

2.2 基于深度学习的边缘检测算法

目前，基于深度学习的边缘检测算法主要通过卷积神经网络进行特征的提取、选择和分类，以替换传统方法中的人工特征提取与分类，常见的用于边缘检测的深度学习网络有CASENet、DeepEdge、HED等。

CASENet将每个边缘像素与多于一个的边缘类相关联，是一种基于ResNet的端到端深度语义边缘学习的架构，同时也是一种跳层(skip-layer)架构，其中顶层卷积层的类别边缘激活共享并与底层特征的同一集融合，这里利用一种多标签损失函数来监督激活的融合[12-13]。

DeepEdge利用目标相关特征作为轮廓的高级线索检测，这点不同于大多使用纹理或显著性等低级特征来检测轮廓的网络。DeepEdge是多级深度网络，由5个卷积层和1个分叉全连接子网络组成。分叉子网络包含一个学习预测轮廓似然的分支，以及一个训练学习在给定点轮廓分支[14]。

HED 是一个整体嵌套边缘检测的深度学习边缘提取算法，HED能使用整体图像进行训练和预测，且能进行多尺度、多层特征学习。该深度学习模型利用全卷积网络，自动学习丰富的分层表示，并基于侧面响应进行深层监督指导[15-16]。

3 基于HED的河道线检测

3.1 图像预处理

由于河道大多存在于野外，采集到的河道图像必然受到野外环境、天气等多重影响，因此有必要先对采集图像进行预处理，去除部分干扰边缘提取的因素[17-19]。观察野外相机采集的河道图像，风吹过水面会产生水波，同时光线照射会使水波一侧产生阴影，从而在河面产生新的伪边缘。使用传统的平滑滤波方法，可以平滑伪边缘，但同时图像的模糊可能会使得河道线丢失，综合考虑使用一种改进的方差滤波器[20-21]。

Papari滤波是一种非线性滤波，比一般的线性滤波器和非线性滤波器效果要好，能够在保持边缘和角落的情况下平滑图像。图1为原图与几种滤波方法的对比。其中，图1(a)为原图；图1(b)为均值滤波，可明显看出河道边缘存在严重模糊且水波平滑效果不佳；图1(c)为高斯滤波，边缘保存但水面平滑未达到预期；图1(d)为Papari滤波，可以看到保存了明显的角落和边缘，且河面区域滤波效果较好。

图1 滤波效果对比图

3.2 内河河道线检测模型的构建

HED神经网络是一个基于VGG16网络改进而来的网络，VGG16本身是多个卷积池化层连接上全连接层和softmax层，HED神经网络则在此基础上删除了VGG16的全连接层和softmax层，仅保留卷积池化层。

输入图片经过多次卷积和最大池化，取每次卷积的最后一层作为该网络的外侧输出，这样一共得到5个外侧输出。但是外侧输出的尺寸不一致，因此在网络中对每个外侧输出进行反卷积，使其扩大到输入的尺寸大小，并将这5层输出进行融合，得到融合层，则HED神经网络一共有6层输出[15]。见图2。

图2 HED神经网络结构

由于边缘提取中边缘与非边缘的像素点在数目上存在巨大差异，因此HED神经网络改进了传统的损失函数，对边缘与非边缘的损失计算进行相应的加权。

HED神经网络的外侧总损失函数为:

(1)

(2)

其中：β和1-β为加权参数；Y-为ground truth中标记为边缘的像素集合；Y+为非边缘的像素集合；Pr为由侧边输出通过sigmoid函数计算得到的响应值。

融合层的损失之计算为：

(3)

最终的优化目标函数为：

argmin(Lfuse(W,w,h)+Lside(W,w))

(4)

4 实 验

4.1 实验环境

实验中使用的硬件平台为64位 windows 10 操作系统，内存为32GB，GPU为VIDIA GeForce GTX 1080 Ti，编程语言为python，深度学习框架为TensorFlow，监控摄像机为海康威视智能球型摄像机。

4.2 实验数据集

本文使用BSDS500数据集训练了用于提取通用边缘的HED模型。并通过在苏州某河道上架设监控摄像头来获取河面的监控视频，以获取不同环境、时间下的真实河道图像，图像的尺寸为1920*1080像素，数据集包含有6 546张图像.

4.3 实验结果

由于截取的图像中存在众多的类似图像，因此从图像数据集中挑选273张河道图像进行检测试验。见图3。

图3 河道线检测效果比较图

对比canny算子、区域生长法、HED的检测结果图可以得出，边缘检测算子对于复杂环境下的边缘检测效果不佳，存在大量的伪边缘；区域生长法的区域生长准则需要人为调整，否则可能会产生生长失败或者生长区域蔓延的河岸；而HED产生的结果图相对清晰完整，易于提取出准确的河道线，同时无需逐个站点调整参数，能够基本实现自适应。

5 结 论

针对经典图像算法在河道边缘检测中河道线提取不准确、实时性不高、鲁棒性不强的情况，本文提出一种基于改进HED提取河道线的方法。通过比较不同算法在不同场景采集的内河河道图像上河道线提取的效果可知，本文算法相比传统算法具有更高的准确性和鲁棒性。本文算法在苏州各河道图像组成的验证集上达到正确率96.3%，平均每张图像耗时220 ms。而且河道线短时间变化不大，满足实时性要求，同时正确率较高。