一种多模态跨媒体检索的融媒体影视系统

李春芳,刘永久,王楷翔,杨睿,张凌飞,李敏,邓智铭,石民勇

（中国传媒大学计算机与网络空间安全学院，北京 100024）

1 引言

媒体融合发展已上升至国家战略，影像为王的媒介时代，有视频有真相。视频具有时序播放的特点，知识密集型视频，如纪录片、正史影视，很多受众不能在呈现的几秒内理解视频的全部信息。另一方面，用户也会常感到观看线性视频的信息过少、浪费时间。2018 年11 月，教育部、中宣部印发了《关于加强中小学影视教育的指导意见》，体现了政府对影视教育的重视。如何找到与课程内容密切关联的影视作品及视频片段，是应用影视教育中的瓶颈。

本文着重研究了面向应用场景的视频字幕提取和人脸识别，对重要实体，链接外部知识库和电子课本；对视频做知识增强，支持视频非线性检索，构建一种富信息融媒影视新形式，满足深度知识获取，改善用户收视体验。本文面向教育文化传播，以近代史电影、中国诗词大会和科技记录片三个场景实现视频融媒应用，尝试应对网络时代的文明恐慌，为新型主流媒体智能化发展赋能。

2 相关研究

2.1 字幕提取

字幕形式的对白或解说词，有场景说明、画面补充、深化内涵的作用，可用于视频非线性检索。字幕提取包括：字幕事件检测、字幕区域定位、字幕分割、基于OCR(Optical Character Recognition)的文本识别。

字幕识别首先将视频生成尽可能不重复、不遗漏的字幕图像序列。从视频提取字幕帧的方法包括三种：逐帧、等帧间隔、帧差法（或字幕事件检测）。……