基于深度多模态特征融合的短视频分类

张丽娟，崔天舒，井佩光，苏育挺

（天津大学 电气自动化与信息工程学院，天津300072）

伴随着智能手机和移动互联网的迅速普及，短视频作为一种新型的用户生成内容，已经广泛出现在各个社交平台上，如抖音、Instagrm 和Vine。据抖音官方数据显示，截至2020年1月5日，其日活跃用户数已经突破4亿。与传统意义上的长视频相比较，短视频的时间长度通常被限制在2 min以内，这使得人们更容易获取和分享这些视频。除此之外，短视频丰富的内容和多样的表现形式为受众提供了更优质的用户体验，是短视频受欢迎的另一个原因。

已有的短视频内容分析相关研究主要包括场景估计［1-3］、短视频的流行度预测［4］及短视频的推荐［5-6］等。例如，Zhang等［1］利用短视频的文本、音频和视觉模态特征解决多媒体场景分类的问题。Wei等［2］采用多模态特征融合的神经网络（Neural Multimodal Cooperative Learning，NMCL）解决短视频场景分类的问题。Nie等［3］致力于分析声音模态对于短视频场景类别预测的影响。Jing等［4］通过提出一种新颖的低秩多视角学习框架解决短视频的流行度预测问题。Liu等［5］基于多模态特征融合的角度提出用户-视频联合注意力网络（User-Video Co-attention Network，UVCA）解决短视频的推荐任务。Shang等［6］提出了面向短视频大数据的推荐系统实现短视频的推荐。本文致力于解决短视频标签分类问题。

近年来，随着计算机视觉领域理论的飞速发展和图像相关任务的理论日益成熟，人们越来越多地去解决视频相关的问题而不是图像。从传统的人工处理获取视频特征到现在依赖于神经网络提取视频的特征，从原来小范围的数据集到现在大范围的数据集，视频分类领域的研究已经取得了巨大的进步。……