基于自适应模板更新与多特征融合的视频目标分割算法

汪水源，侯志强*，王 囡，李富成，蒲 磊，马素刚

基于自适应模板更新与多特征融合的视频目标分割算法

汪水源1,2，侯志强1,2*，王 囡1,2，李富成1,2，蒲 磊3，马素刚1,2

1西安邮电大学计算机学院，陕西 西安 710121；2西安邮电大学陕西省网络数据分析与智能处理重点实验室，陕西 西安 710121；3火箭军工程大学作战保障学院，陕西 西安 710025

针对SiamMask不能很好地适应目标外观变化，特征信息利用不足导致生成掩码较为粗糙等问题，本文提出一种基于自适应模板更新与多特征融合的视频目标分割算法。首先，算法利用每一帧的分割结果对模板进行自适应更新；其次，使用混合池化模块对主干网络第四阶段提取的特征进行增强，将增强后的特征与粗略掩码进行融合；最后，使用特征融合模块对粗略掩码进行逐阶段细化，该模块能够对拼接后的特征进行有效的加权组合。实验结果表明，与SiamMask相比，本文算法性能有明显提升。在DAVIS2016数据集上，本文算法的区域相似度和轮廓相似度分别为0.727和0.696，比基准算法提升了1.0%和1.8%，速度达到40.2 f/s；在DAVIS2017数据集上，本文算法的区域相似度和轮廓相似度分别为0.567和0.615，比基准算法提升了2.4%和3.0%，速度达到42.6 f/s。

视频目标分割；模板更新；特征融合；掩码细化

1 引 言

近年来，视频目标分割(video object segmentation，VOS)在视频监控、自动驾驶和智能机器人等领域具有广泛的应用，受到了越来越多研究人员的关注。

按照人工参与程度的不同，可以将视频目标分割分为交互式视频目标分割、无监督视频目标分割和半监督视频目标分割。……