基于上下文注意力机制的实时语义分割

于润润，姜晓燕，朱凯赢，蒋光好

(上海工程技术大学 电子电气工程学院，上海 201620)

为提高神经网络的分割质量，现有语义分割研究方法[1]使用了较深的卷积网络和复杂的网络结构，虽然取得了更高精度，但也增加了网络的参数数量。大部分语义分割算法需要耗费大量计算和显存资源，限制了该技术在移动设备上的应用。因此，实时语义分割概念被提出，并成为了分割算法的重要研究方向。针对网络参数量大和推理速度慢的问题，目前的解决方法有两种：(1)轻量化特征提取层结构；(2)多分支结构。两种结构从减少网络卷积参数和解耦网络任务两个角度来达到实时预测的目的。CAP (Context Aware Pruning for Semantic Segmentation)[2]网络通过模型剪枝，对网络特征通道数目进行轻量化处理，提升了网络预测速度，但该方法精度较低。ICNet(ICNet for Real-time Semantic Segmentation on High Resolution Images)[3]设计了三分支网络，输入图像以低、中、高3种分辨率输入到不同深度的网络中，经过多层次信息融合获得最终特征信息，在实时的前提下，获得了较高的分割精度。基于ICNet[3]网络，本文提出了更加轻量的双分支级联网络来解耦语义分割任务，获得了更快的网络推理速度。

实时分割网络由于其网络的轻量性，导致特征抽象能力较弱，缺少上下文信息。语义分割是像素级分类任务，同类物体像素点预测相对独立，特征上下文信息缺失将导致分割结果类内一致性较差。如图1(a)[4]所示，由于像素点的预测过程互相独立，特征缺少上下文信息，导致牛身体的一部分被预测成为了马。……