融合深度学习和视觉文本的视频描述方法

付 燕，马 钰，叶 鸥

(西安科技大学计算机科学与技术学院，西安 710054)

视频是人类社会活动中最常用的信息载体，其中蕴含了丰富的信息[1]。随着互联网技术的发展及数码设备的普及，视频数据增长迅速，对视频内容的文本描述已成为一项艰难的人工工作。因此，如何通过计算机自动提取视频所表达的信息，已成为视频描述领域的研究热点。视频描述是一种对视觉内容高层语义理解的任务，旨在实现对视觉内容的高层语义认知与自然表达，涉及计算机视觉、机器学习、自然语义理解等研究领域[2]。视频描述在视力缺陷人群的辅助、视频检索、智能人机交互及机器人开发等方面都有广阔的应用前景[3]。

早期视频描述主要分为基于模板[4-5]和基于检索[6]这2种方法。基于模板的方法先检测视频中的物体、属性以及物体关系等内容，然后利用预定义的句子模板生成视频的文本描述。但是这种方法受到句子模板的限制，生成的文本描述多样性受限。基于检索的方法采用信息检索的方式生成文本描述。虽然这种方法能够得到与人工描述密切相关的文本，但是所得到的语句依赖于数据库的文本集合，并且不能生成新的文本描述。

近年来，随着深度学习的发展，受益于卷积神经网络[7](convolutional neural networks，CNN)在计算机视觉领域的发展，以及循环神经网络(recurrent neural network，RNN)在自然语言领域的进步，基于CNN和RNN的组合方法已广泛用于视频描述中[8-14]。其中S2VT模型[10]受到学者们的广泛关注。该模型的训练过程是端到端的，而且可以处理变长输入输出并能学习输入序列中的任意时间结构。……