基于多特征图像视觉显著性的视频摘要化生成

金海燕，曹甜，肖聪，肖照林，*

（1.西安理工大学 计算机科学与工程学院，西安710048； 2.陕西省网络计算与安全技术重点实验室，西安710048）

如何以最为直观且快速的方式查阅视频数据，完成像文字搜索一般的浏览效率是计算机视觉与图像处理领域的研究热点。视频摘要是对原始视频内容的高度浓缩，其将重要且具有代表性的视频内容以一种简洁的形式呈现出来，方便用户对视频的浏览和管理［1］。

2017年，刘全等［2］使用带视觉注意力机制的循环神经网络（RNN）改进了传统的深度Q网络模型，提出了一种较为完善的深度强化学习模型。2018年，郎洪等［3］提出一种鲁棒主成分分析（RPCA）优化方法，为了快速筛选与追踪前景目标，以基于帧差欧氏距离方法设计显著性目标帧号快速提取算法。2019年，张芳等［4］为准确检测复杂背景下的显著区域，提出了一种全卷积神经网络与低秩稀疏分解相结合的显著性检测方法，结合利用全卷积神经网络学习得到的高层语义先验知识，检测图像中的显著区域。李庆武等［5］针对现有显著性检测算法检测目标类型单一、通用性差的问题，提出了一种基于无监督栈式降噪自编码网络的显著性检测算法。2020年，陈炳才等［6］提出了一种融合边界连通性与局部对比性的图像显著性检测算法，得到的显著图更接近于真值图。

由于现有视频数据量过于庞大，占用内存资源较多，在浏览时比较困难。本文基于多特征图像和视觉注意力金字塔模型，提出了一种改进的可变比例及双对比度计算的中心-环绕视频摘要化方法，通过提取的关键帧快速理解视频的主要内容。……