融合语义信息的视频摘要生成

滑蕊，吴心筱，赵文天

（北京理工大学 计算机学院，北京100081）

随着视频拍摄、存储技术和网络传输的飞速发展，互联网上的视频数据呈爆炸性增长［1］。但由于生活节奏越来越快，观众在没有确定视频是否符合他们的期望前，不会轻易花太多时间观看完整视频，观众更期望可以通过视频预告等形式对视频内容产生大致的了解。视频摘要任务从原始视频中提取具有代表性和多样性的简短摘要，使观看者在不观看完整视频的情况下，快速掌握视频的主要内容。

早期的视频摘要方法［2-3］是基于无监督学习的，使用诸如外观或运动特征等底层视觉信息和聚类方法来提取视频摘要。近年来，深度神经网络［4-8］被用于视频摘要任务中，其主要致力于学习更具表示能力的视觉特征。这些方法将视频摘要任务建模为视频镜头子集的挑选，通过使用长短期记忆（Long Short-Term Memory，LSTM）单元来实现视频摘要的生成。

随着计算机视觉与自然语言处理的融合发展，视频文本描述等许多跨模态任务引起了研究人员的广泛关注。所以自然而然联想到通过添加文本内容到视频摘要任务中，利用语义信息对视觉任务进行监督从而获取视频摘要，部分近期研究［9-11］也开始研究视频摘要中包含的语义信息。文献［9］使用了视频主题或视频标题来提供视觉上下文信息，以标识原始视频包含的重要语义信息。文献［10-11］结合了自然语言处理领域中常用的一些方法，将语义信息添加到视频摘要中。……