基于深度学习的海面垃圾检测系统

杜叶挺 应泽光 马赛男 卓宏明 顾欣

关键词：深度学习；语义分割；机器视觉；目标检测

近年来，海洋垃圾污染问题受到国际广泛关注，2021年第五届联合国环境大会旨在建立结束海洋垃圾和塑料污染的势头和政治意愿，从而确保一个拥有清洁海洋的未来。海洋垃圾一般指海洋和海岸环境中具有持久性的、人造的或经加工的固体废弃物，其典型代表为漂浮在海面的塑料垃圾。根据联合国环境规划署（UNEP）估计，每天约8．0×106件垃圾进入海洋，每平方千米海洋表面漂浮着超过13000件塑料垃圾，另海洋保护组织Oceans Asia近日发布的研究报告表明，由于新冠肺炎疫情的暴发，仅2020年至少就有16亿只口罩被丢弃人海洋，它们中大部分都是一次性难降解口罩，在海洋中需要400到500年才能降解。由于这类海面漂浮垃圾的持久性和普遍性，海洋垃圾正在破坏、威胁着海洋环境，更为严重的是海洋垃圾已经逐渐进入食物链，危害到海洋生态系统的健康和可持续发展[2-3]。

中国大陆海岸线约1.8×104km，浙江作为海洋大省，随着沿海工农业迅猛发展以及滨海旅游业的兴起，近海海域同样面临巨大的海洋垃圾污染压力。研究海洋环境污染的快速检测手段非常有必要，在经济发展的同时丞须解决日益严峻的海面漂浮垃圾污染问题。海面漂浮垃圾的检测，容易受到海浪、倒影、海岸线等干扰因素的影响，传统雷达等主动检测方式存在精度低、无法有效识别等问题。本文提出了一种基于深度学习的海面垃圾识别检测系统，应用机器视觉与深度学习算法，能够从复杂的环境中分割海面目标，实时检测近海漂浮垃圾的区域、大小、位置等信息，并反馈给检测中心，通过与电子海图（ECDIS）系统融合，为政府海洋环境部门提供可靠有效的决策数据。

1系统设计与实现

针对海面垃圾检测应用需求，系统需要完成数据采集、图像预处理、目标分割、目标检测与定位、海图数据融合5个功能，系统方案如图1所示。數据采集依靠摄像机完成，选用海康威视监控摄像机，提供二次开发SDK，能够从视频流中直接获得图像数据。图像数据训练在Ubuntu16.04版本，64位操作系统，GTX1070，i7-8700，32G内存的电脑上完成，训练平台为Tensor Flow2.1，部署端在嵌入式平台NVIDIA TX2上。

1.1海面分割

传统的分割算法一般采用边缘分割的方法，寻找到水面与岸边特征变化剧烈的区域，然后进行边缘检测，最终提取出海岸线。利用图像纹理特征和归一化水体指数将输入图像分为水面和非水面区域两类。这种方法容易受到光照、倒影等的影响，对图像采集的环境要求较高。因此，本文针对海面分割任务需求，采用语义分割技术，可以有效划分海面、天空、陆地、船只这些海上最常见的目标类别，从而为下一步海面垃圾的检测识别打下基础。

近几年基于全卷积神经网络的模型在语义分割任务上的成功表现，如SegNet、FCNN。有几种变体模型提出利用上下文信息包括多尺度输入在内做分割，也有采用概率图模型细化分割结果。本文采用DeepLabv3+模型，通过空间金字塔模块在输入feature上应用多采样率卷积、多接收野卷积或池化，探索多尺度上下文信息，同时通过En-coder-Decoder结构逐渐恢复空间信息来捕捉清晰的目标边界。具体来说，DeepLabv3+以Deep-Labv3为encoder架构，在此基础上添加了简单却有效的decoder模块用于细化分割结果。海面分割网络在经过大量训练数据集训练学习后，其泛化能力和抗干扰能力相比传统的水面分割算法也更强，DeepLab模型算法结构如图2。

通过人工采集、爬虫、数据集增强等多种方式获得训练样本，并通过Labelme标注为四大类，经过数据清理后搭建了5000余张的海上目标语义分割图像数据库，其中涵盖了各类船只类型，常见的海岸场景及不同天气下的海面情况。

DeepLab模型在经过海洋环境数据样本的反复迭代训练之后，逐步调整DeepLab模型中的神经网络结构与神经网络参数，最终得到适用于近海负载环境的语义分割模型，测试效果如图3。图a为原始图像，图b为语义分割的结果。

模型分割类别为船、海洋、天空、陆地四大语义类别。测试样本中图像分割的平均像素精度（PA）为81.03%，图像分割的平均交并比（MIoU）为68.41%。

1.2海面垃圾检测

在获得海面目标之后，为了从海面上获取海面垃圾漂浮物，需要进行海面垃圾的识别，海面漂浮垃圾的视觉特征通常表现为目标尺寸较小，贴近水面，分辨率较低且语义特征不完整，难以满足传统计算机视觉算法的识别要求。基于YOLOv5s深度学习模型，同时进行样本训练和评价，以适应实际海上检测应用场景的需求。

YOLO（You Only Look Once）模型使用深度神经网络对图像位置进行快速的检测与分类，得益于其将基于候选区域的两阶段算法改为合二为一的单阶段算法，即将候选区域和对象识别进行同步，不再进行传统滑移窗口操作，将输入图片划分为不同区域，通过卷积生成特征图，从而直接预测目标对象的边界框，有效节省时间和空间成本，继而成为现在目标检测算法的主流选择。

YOLOv5s网络可以分为输入图像Input、Backbone主干网络、Head检测头，Neck颈部网络4部分。而这4部分由几个不同的模块堆叠得到，具体网络结构如图4所示：

1）YOLOv5s网络输入端主要实现Mosiac数据增强、自适应图片缩放等功能。Mosiac数据增强能够扩大微小对象数量，提高模型的小目标检测效率。

2）Backbone主干网络的主要功能为提取图像中一系列不同尺度的特征图，有CBS模块、C3模块、SPP模块、Focus模块。

CBS为卷积模块，YOLOv5s主干网络中的CBS模块以Convolution+Batch Normalization+Activation的形式，对输入数据进行卷积计算、批标准化计算和经过一个激活函数Silu，加快网络的收敛速度。Silu激活函数定义为式（1），其中，Sigmoid（x）是标准的Sigmoid函数，它的值在0和1之间。

Focus模块是对图片进行切片操作，通过在图片中每间隔1个像素取值，得到4张图片，使得图片的长和宽分别减半，通道数扩展为原来的4倍，保证了图片信息没有丢失，640×640×3的原始图像通过Focus模块，输出得到320×320×12的特征图。

在目标检测中，通常输入图像的尺寸大小并不固定，为了得到统一大小的特征图，从YOLOv3开始引入SPP空间金字塔池化模块，通过使用CBS模块使其通道数减半，然后将输入的图像经过三个不同尺寸的最大池化层，连同输入的图像通过concat级联在一起，保证不同大小的输入图像在池化后，其特征图长和宽能保持一致。

3）Neck颈部网络用于进行不同大小特征图的特征融合。对主干网络生成的特征图，进一步强化其特征进行提取。

4）Head用于算法的收尾阶段，通过将锚框机制与特征图数据关联，生成目标类别、概率输出窗口。

常见的海面目标大致可以分为礁石、海成漂浮垃圾、航道标志物等。由于现存的海面目標图像数量稀少，因此无法遵循常见深度学习依托海量图像数据训练神经网络的常规方式，需要参照小数据集训练神经网络的深度学习管道配置方式搭建图像数据库，分为岛礁、海面漂浮垃圾、航道标志3类，各自收集500张图像。样本图像数量分布如表1所示。

mAP值（平均准确率）常用来评价神经网络模型的分类或物体检测性能，主要有两个组成参数：查准率（Precision），搜索图像的相关性；查全率（Recall），检索相关图像数。代价函数用于表示模型计算结果与预测值之间的差异，是模型训练程度的主要技术参数。本系统模型所得到的mAP值如表2所示，单帧处理时间可以提高到40ms，

对海面漂浮垃圾进行测试，效果如图5所示，图（a）为测试图像原图，图（b）为语义分割后的各目标图像，图（C）为海面漂浮垃圾检测后获得目标框。

1.3海漂垃圾定位

为了定量获得海面漂浮垃圾的位置，需要通过机器视觉的方式对海面漂浮垃圾进行定位。本文采用基于逆透视投影变换的单目测距方法，具有结构简单、操作方便、成本低廉和信息采集迅速的优点。单目相机目标定位原理如图6。已知海面上目标点的三维世界坐标Zw为原点，首先通过张正友的相机标定法获得相机的内参，并且通过GPS/北斗获取摄像机的三维坐标，然后采用针孔透视投影模型，将待测目标的二维像素坐标转化为三维世界坐标。

以测距望远镜测量结果表示实测距离，基于逆透视投影变换的单目测距结果如表3、图7所示，从中可以看出，在一定误差允许的情况下，单目测距效果可以满足应用需求。

2结论

基于深度学习的海面漂浮垃圾检测系统，通过结合语义分割、YOLOv5s算法、单目测距技术，首先利用Labelme标注工具对海面上的目标进行分类标注，建立一个小型的数据集；针对海面小目标检测精度不足的问题，在模型中增加小目标检测层，修改YOLOv5的模型文件yaml，虽然增加了计算量，但对小目标检测具有较好的改善效果，与其他检测方法相比，其目标检测准确率可达85%以上，能够满足一定的工程应用。最后通过视觉定位获取漂浮垃圾的相对坐标，经过摄像机的经纬度位置换算，进一步获得海面漂浮垃圾的地理绝对坐标，实现与电子海图（ECDIS）系统的融合，为海洋、环境部门提可靠有效的执行决策数据。