基于X-Linear 和语义嵌入的视频描述算法

李亚杰，关胜晓，倪长好

(中国科学技术大学 微电子学院，安徽 合肥230026)

0 引言

视频描述任务是将计算机视觉信息转换为人类能够理解的自然语言句子的描述。将计算机视觉内容理解和自然语言处理两个领域相结合用于解决视频描述是一项极具挑战性的任务。视频描述涉及对许多实体的理解，这些实体包括场景、人物、物体、人的动作、人与物体的交互、人与人的交互、其他事件以及事件发生的顺序等。所有这些信息必须使用自然语言处理(Natural Language Processing，NLP)技术，以一种可压缩的、语法正确的文本表达出来。视频描述任务可以应用于很多领域，如智能安防、盲人导航、视频检索、人机交互等。

目前视频描述算法主要是基于编码-解码器架构。 编码器使用卷积神经网络(CNN)或循环神经网络(RNN)对视频信息进行编码，解码器根据编码特征使用RNN 生成视频语言描述。 由于注意力机制在机器翻译和目标检测等领域的成功，Li Yao[1]等人提出使用软注意机制的TA 模型，在每一步解码时不是简单地对视频每帧的编码信息进行求平均，而是根据当前解码状态以软注意的方式获取感兴趣的时间特征，同时使用了3D 卷积特征和三个手工低级特征将时间和空间特征进行结合。 Pan Yingwei[2]等人提出X-LAN 图像描述模型， 该模型使用了类似Transformer[3]的结构，并使用了双线性池化技术来获取图像不同区域特征的高阶交互，并同时考虑了空间和通道的注意力分布。 X-LAN 模型目前是针对图像描述的，还没有应用于视频领域，要使用目标检测技术获取图像不同区域的特征作为输入，且以上模型都没有使用视觉高级语义特征来辅助描述生成，不能获取丰富的语言描述。……