智能化影视录播字幕远程控制系统设计

刘 静

（上海师范大学，上海200234）

0 引 言

字幕远程控制作为影视录播视频内容中最醒目最直接的信息呈现方式[1]，能帮助人们获取影视录播视频的信息及相关新闻信息[2]，使人们了解世界；同时经由字幕的多语言信息传达，可使全球范围内的人们都能了解影视录播视频内容[3]，为信息全球化提供有力平台。以往使用的远程控制系统主要有文献[4]和文献[5]，前者采用云台通信协议设计人机交互界面，利用权重分配带宽的方式增强图像传输效果，实现远程控制需求；后者通过远距离无线通信技术，有机结合人机操作界面与远程控制环节，实现远距离无线控制。本文在这两种远程控制系统基础上，设计智能化影视录播字幕远程控制系统，基于字幕数据的网络传输与数字电视通信逻辑完成智能化影视录播字幕远程检测与同步等控制。

1 智能化影视录播字幕远程控制系统

1.1 系统整体结构设计

影视录播字幕远程控制系统主要包括硬件设施层、组件层、协议层及用户控制界面层[6]，如图1所示。

图1 智能化影视录播字幕远程控制系统结构

硬件设施层的主要功能是接收界面层发送的控制命令，采集由调谐器流入的、包含字幕数据的全部数据[7]；对Tuner调谐器流入的数据实施解复用处理，获取打包的基本码流（Pac·ketized Elementary Streams，PES）数据；对图形的屏幕菜单式调节方式（On-Screen Display，OSD）显 示 和 场 消 隐 期（Vertical Blanking Interval，VBI）输出提供支持。

组件层的主要功能是接收、存储、检测、同步硬件设施层获取的字幕数据。

协议层的主要功能是由解复用模块内接收/发送字幕数据，以及处理此过程中涉及的逻辑关系；处理电视台与字幕切换相关的逻辑关系。

界面层的主要功能是显示字幕与相关控件、处理此过程中的相关逻辑关系。

1.2 字幕检测控制

影视录播过程中，部分不法分子通过字幕互动传播非法内容，不仅违背国家形象与政策，给观看影视节目的观众留下不良印象，影响电视台形象，且对青少年身心成长造成消极影响，因此字幕检测对于影视录播字幕远程控制尤为重要[8]。在检测字幕过程中需要分割影视视频流，使其成为独立的视频帧，以此作为基础检测各视频帧中的字幕。

1.2.1 确定边缘图像

通过字幕边缘处理可将各视频帧图像中的字幕分离出来[9]。用P表示原视频帧图像，fY，fU和fV分别表示视频帧图像3个分量，合并fY，fU和fV。确定fY，fU和fV上的边缘图像，利用式（1）确定P累积后的边缘图像D，具体过程如下：

式中：描述的是原视频帧图像fY，fU和fV三个分量上的边缘图。

1.2.2 字幕边缘聚类划分

以视频帧图像和字幕边缘色彩的差异为基础，采用近邻传播聚类算法对P累积后的边缘图像D进行着色处理，具体过程如下：

式中，D′和PRGB(x,y)分别表示D对应的边缘色彩图和D′的边缘点颜色值，将全部非边缘点的颜色设定为黑色。以D′边缘点的色彩差异为依据划分D′的边缘子图。式（3）、式（4）和式（5）所示为近邻传播聚类的两类矩阵完成色彩信息聚类的过程，迭代这3个公式至两类信息收敛结束[10]。

式中：h(p,k)和a(p,k)分别表示节点xk代替xp的能力和节点xp代替xk的匹配度；s(p,k)是颜色p与颜色k之间的差异度，可通过p与k在RGB三色分量间的欧氏距离确定其值[11]。

用C表示D′内包含的颜色数量，通过上述过程可将C个颜色划分成M个颜色类型，一个边缘子图内包含同一类像素点的颜色。

1.2.3 字幕区域定位

一般条件下，边缘子图中的字幕区域可通过水平与垂直投影定位[12]，在此基础上采用机器学习算法优化字幕区域定位结果，提升字幕区域定位精度，防止出现字幕区域误检现象。

1.2.4 字幕提取

1）颜色图像二值化

在字幕提取过程中采用二值化过程[13]，对比视频帧图像字幕区域fY，fU和fV的不同颜色分量，针对对比度最高的颜色分量实施二值化，如下：

式中：Sδ描述的是fY，fU和fV分量空间中最大分类结果；δ表示某一分量；SfY，SfU和SfV描述的分别是fY，fU和fV不同分量上的对比情况，其计算过程如下：

选择Sδ实施二值化，通常字幕位于定位区域中间位置，所以累积Dδ中央边缘强度确定Sδ。边缘强度可以用于描述原视频帧图像P的对比度，因此确定最大Sδ也可以理解为字幕区域在δ分量上的对比最为显著。具体二值化过程如文献[14]所示。

2）去噪

通过二值化过程能够划分字幕区域图像前景与背景，划分出的前景可形成一个联通分量集合，通过颜色聚类对其实施去噪能够提升字幕检测精度。

3）字幕识别

字幕区域图像前景去噪之后，采用OCR文字识别软件实现影视录播字幕检测。构建敏感字幕数据库，当所识别字幕中出现敏感词时，触发敏感字幕报警功能，系统给予字幕隐藏等对应处理。

1.3 字幕同步控制

在影视录播过程中，字幕数据可能先于音频数据传输[15]，导致字幕与影视图像不匹配。为解决这一问题，需要在字幕显示之前确保其与影像图像同步，同时针对不同字幕之间的同步进行处理。字幕显示与影像图像显示之间的同步流程如图2所示。

2 实验分析

为了验证本文所设计智能化影视录播字幕远程控制系统的实际性能，在某高校数字化实验室内搭建本文系统，进行功能测试。在某平台影视录播视频集内随机选取不同类型的影视录播视频研究对象，同时以文献[4]和文献[5]中的远程控制系统作为对比系统，验证本文系统的性能。

2.1 功能测试结果

2.1.1 字幕显示功能测试

图3 所示为本文系统字幕显示功能测试结果。分别选取不同类型的影视录播视频，可知在本文系统控制下，不同类型的影视录播视频均能够有效显示字幕，未出现字幕错字、漏词等现象。

图2 字幕同步控制流程

图3 字幕显示功能测试结果

2.1.2 敏感字幕检测功能测试

为验证本文系统字幕识别性能，分别选取8段不同类型、不同时长的影视录播视频，人工统计视频字幕包含的敏感词数量，与本文系统统计识别结果进行对比，结果如表1所示。

由表1得到，在本文系统控制下，字幕敏感词检测精度显著高于其他两个对比系统，由此说明本文系统具有较高的字幕敏感词检测精度。

2.1.3 字幕同步功能测试结果

图4 为本文系统字幕同步功能测试结果，其影视图像采自某影视视频，字幕采集间隔为4 s。由图4得到，本文系统控制下，视频字幕可正常显示，且以较快速度进行切换，并未出现字幕错字、漏词等现象；同时字幕与视频语音能够同步，实现系统最初设计目的。

表1 字幕敏感词检测结果

图4 字幕同步功能测试结果

2.2 性能测试结果

对比本文系统与文献[4]和文献[5]中的远程控制系统下的字幕与影视视频之间的误匹配率，结果如表2所示。

表2 字幕误匹配率

由表2得到，随着字幕条数的提升，本文系统控制下的字幕误匹配率始终维持在0.02%左右，而其他两个对比系统的字幕误匹配率整体呈现出随字幕条数上升而提升的趋势，且显著高于本文系统。结果表明本文系统控制下字幕具有较高的匹配精度。

3 结论

本文设计智能化影视录播字幕远程控制系统，实验结果显示该系统控制下的不同类型的影视录播视频均能够有效显示字幕，且以较快速度进行切换，并未出现字幕错字、漏词等现象。