徐州广播电视台文件化送播系统建设实践

王路 徐州广播电视台

徐州广播电视台文件化送播系统建设实践

王路 徐州广播电视台

随着徐州广播电视台各业务系统的网络化、高清化、文件化，播出的大部分节目采用了文件化送播机制进行高效率备播。根据徐州台的现有实际情况和未来的扩展需求，我台充分利用台内原有网络设备，搭建了高安全、分布计算、自动化的文件化送播系统，为制作系统、媒资系统和播出系统之间提供了媒体信息传输和交互服务。

文件化送播 分布计算 高效率 交互

一、文件化送播系统简介

随着徐州广播电视台各业务系统的网络化、高清化，为了使播出系统7×24小时全程高安全、高效率播出，4个频道播出的大部分节目采用了文件化送播机制，通过高安全、分布计算、多链路、自动化的设计，完成播出节目的文件化备播。我台的文件化送播系统是一个全台性的系统，能实现外购影视剧和本台4个频道自办节目的文件化网络化送播，是全台网各业务子系统的文件传输和信息交互平台，为制作系统、媒资系统和播出系统之间提供了媒体信息传输和交互服务。

文件化送播系统在设计上，网络拓扑选择以原有的媒资系统交换机为核心，组成全台的星型网络结构。业务流程设计上，以各子系统与播出交互为主线组成简单的网状结构。这种结构设计符合徐州台现有的实际情况和未来的扩展需求，设计充分利用台内原有网络设备，不需购置设备搭建网络主干，节约成本。业务流程简便，采用点对点传输方式，易于流程监控和维护管理。

文件化送播系统的建设在未采用传统的双总线架构的主干平台的模式下，应用基于webservice的第三方软件，采用C/S架构实现了异构系统之间的点对点元数据传输，完成全台各业务系统的互联互通。利用第三方全对称分布式架构大数据存储系统和媒体处理中心实现校验、技审、转码等功能，大大提高了文件化备播的效率。

文件化送播系统具体有如下功能：

（1）实现了全台各业务系统之间的网络互连，完成了文件化节目从编辑系统、媒资系统到播出系统的网络化传输。

（2）实现了全台各业务子系统和播出系统之间的元数据传输，完成异构系统之间的元数据导入和转换。

（3）实现了视频处理计算资源的动态调整和分配，采用媒体处理池化技术和多任务并发处理技术完成了校验、技审等功能，提供了高效的后台服务。

（4）实现了XDCAM HD高清文件格式在全台各业务系统的全流程应用，采用符合国际标准的MXF文件来进行采集、存储、编辑、交换、播出，减少重复编解码、转码环节，减少图像质量损伤。

二、文件化送播系统方案设计

文件化送播系统方案设计原则充分考虑系统的可用性、稳定性、可靠性，同时兼顾系统的先进性、兼容性、可扩展性。结合内容管理的实际要求，实现与实际工作的高度结合，切实提高工作效率。同时还遵循以下具体实施标准。

（1）网络系统设计

高清播控系统要通过文件送播系统与各业务系统互联互通，形成全台业务系统一体网，要完成全台各业务系统之间网络互联并保证网络系统的高可靠性和高吞吐率。同时在保证播出可靠和带宽的同时，必须具备高安全性。

（2）媒体文件格式

为了保证实施后各个子系统之间数据交换的方便性和一致性，以及以后跟其它系统之间的兼容性和数据可交换性，本系统文件格式采用标准的MXF文件来进行存储、交换和播出。

（3）数据交换格式

为保证系统的不同子系统之间数据的可交换性，在指定系统间进行数据交换时，元数据采用XML文件的方式进行传输和交换。

（4）视音频压缩格式

视频压缩编码是全台业务流程的基础。综合考虑通用性、兼容性、信号指标、压缩效率等方面技术指标。采用高清XDCAM HD 50Mbps作为系统的主标准。同时，系统还可以支持其他各种主流格式，包括标清范围的：DV25/50、IMX30/40/50、无压缩；高清范围的DNxHD（36M～185M）、DVCProHD、AVC-I、HDCAM（EX）等格式。

音频编码需要支持44.1 kHz /48kHz/88.2 kHz /96 kHz/176.4 kHz /192 kHz可选的取样频率，量化精度需要达到16/20/24位。

三、文件化送播系统网络结构

文件化送播系统首先要把我台的非编网、电视剧编辑网、媒资网和播出网等业务系统从网络上做到互联互通，又相对独立。通过交换机的的配置可以方便的实现各业务子系统的边界划分（VLAN划分）。通过对核心交换机的路由配置，可以实现对各业务系统的访问控制。由于业务的特殊性，播出系统安全等级高，我们必须面对网络安全对播出系统造成的风险，所以防火墙配置在制作系统与播出系统之间，具体网络系统拓扑见图1。

图1 全台网络系统拓扑图

四、文件化送播系统业务流程

文件化送播是指将制作完成的备播节目以文件化方式通过网络，迁移到播出系统的二级存储，后经MD5校验、自动技审、人工软审、迁移至播出服务器、播前通道审查等环节，最终完成节目备播的过程。

文件化送播系统主要完成了非编网、媒资网、电视剧编辑网与播出网的互联互通，将文件化的节目脱离介质送播形式，按照播出单通过网络文件化推送到播出网，并在此过程中采取多种检测手段以保障节目质量安全。

各业务系统之间以媒资系统为核心建立主干安全交互网络，通过该网络与播出系统互联，通过文件化送播系统的接口程序完成MXF文件和XML元数据的迁移与导入转换通信，文件从节目制作网迁移到播出系统二级存储中的待播缓存区，通过媒体处理中心对文件进行高速MD5校验和分段高速技审，经过人工软审后，按照播出制定的迁移策略再迁移到播出服务器。文件迁移流程如图2所示。

4.1 编单业务功能

节目单编辑系统需要实现以播出单为主线，为准备播出的节目提供统一的播出节目代码，各业务系统的编辑人员通过C/S软件查询节目代码，将备播高清视频文件与节目代码绑定，填写送播文件的元数据信息等，由文件化送播系统发起送播流程。

4.2 接口服务功能

接口服务系统分为两个部分，一个是连接节目制作系统存储与播出系统二级存储的网络接口，其主要作用是通过大数据存储的FTP的site to site功能由各业务板块将准备好的待播节目向播出的二级存储传输节目文件。另一个是基于webservice元数据传输交互接口，用于各业务板块与播出系统之间的元数据导入转换和信息交互。

图2 文件迁移流程

4.3 媒体处理中心功能

媒体处理中心在台内播出环节的应用中，主要负责将素材从制作系统迁移到播出系统，并根据元数据信息注册播出数据库。媒体处理中心作为两个系统的交互平台，负责将节目素材从制作系统交互到播出系统，并在此过程中对文件格式和内容进行检验。制作系统先将编辑制作好的节目导出为播出版格式文件，并通过预先设置好的接口将元数据信息传送到媒体处理中心，在接收到通知消息后，自动启动后台工作流程，对素材进行文件完整性及素材内容的自动检查，最终迁移到播出视频服务器上，完成素材整备送播。

4.4 文件化送播具体流程

（1）节目单编辑系统根据实际播出单生成相应的播出节目代码。

（2）由节目制作系统制作完成待播节目，由文件化送播系统的接口程序完成节目文件与节目代码的绑定并提交；

（3）文件送播系统将绑定节目代码的文件迁移至播出系统二级存储的待播缓存区。

（4）媒体处理中心对待播节目进行高速MD5校验和高速切片技审。

（5）自动技审完成后，进行人工复审，然后根据策略发送待播节目从二级存储到播出服务器的迁移指令。

（6）在播出服务器上进行播前审看。至此节目送播流程截止。播出整体业务流程如图3所示。

图3 整体业务流程图

五、文件化送播系统效率分析与技术应用

在网络化环境下，文件需要通过网络传输、文件完整性校验、文件技审、人工复审、播出迁移等环节，从节目制作完成到节目备播完成确实需要花费一定时间。如何提升文件送播的效率，使作业人员真正体验到文件化送播带来的业务效率提升和节目质量提升。

我台采用媒体处理中心来解决IT运算方面的效率问题。媒体处理中心采用最新的IT技术、智能资源调度机制和基于“切片”技术文件技审，从根本上解决文件校验和技审的效率低下的问题。另外，我台采用全新的技术流程设计来解决文件传输流程的效率问题。文件化送播系统的建设没有采用传统的ESB+EMB双总线架构的主干平台设计，而是采用点对点网状结构来完成文件传输和数据交换。我们应用接口程序通过人工简单干预的方式，使业务系统之间点对点的完成异构系统元数据的交换。文件传输采用存储间FTP点对点传输，可以一键传输至播出二级缓存。

5.1 媒体处理中心

5.1.1 媒体处理池化技术

媒体处理池化技术，是根据业务流程和任务情况，动态地调整和分配计算资源，最大限度地充分利用服务器的计算资源。播出系统媒体文件处理单元（转码、技审、迁移、 MD5）采用媒体处理池化技术，将各任务处理能力以插件方式集成到同一处理单元，置于资源池中。当有任务需要处理时，系统依据资源需求从池中查找具备处理能力且空闲资源满足需求的处理单元进行处理。池中的每个处理单元可具备一种或多种处理能力，依据资源情况可进行多种处理能力的混合使用。而当某处理单元出现故障时，系统自动将该单元正在处理的任务重新分配给其他处理单元进行处理，实现了任务级别的高可用。

媒体文件处理系统创新地实现了动态电源管理功能。当系统资源需求下降，在保证资源余量的前提下仍有处理单元空闲时，系统可远程遥控处理单元睡眠或关机，以降低系统能耗。当系统资源需求增加时，系统通过网络唤醒方式激活处于睡眠或关机状态的处理单元。处理单元激活后，自动加入处理池中，提升系统处理能力。

5.1.2 多任务并发处理技术

媒体处理中心单个执行端，可以通过工作流引擎配置，将待入库素材迁移到播出系统中，在迁移过程中，执行服务器可以完成MD5、迁移、技审、再迁移到播出视频服务器等一系列操作，有效提高了文件处理效率，降低了系统部署复杂度。

5.1.3 送播效率和策略分析

根据实际使用情况，常规节目的送播分为非当日播出和当日播出。常规送播需要制定健全的节目文件化送播的机制，具体按照不同的时间节点配置相应的送播策略。据此我们根据节目类型的不同制定了相应的送播制度。非日播档节目比如电视剧集可以在晚上进行送播流程，这样可以减轻媒体处理中心运算压力和带宽占用，有效提高当日播出栏目的送播效率。

经过测算，8台媒体处理服务器同时运行，每台按流程处理约10GB数据文件需26分钟，四个频道总计40个小时节目文件达到备播状态需要约5.6个小时。非当日播出节目按计划提前提交后，根据送播策略，有充足的时间保障在播出前达到备播状态。

表1 流程时间测算表

表2 流程时间实测表

我们使用6台媒体处理服务器，实际测试了15分钟和55分钟的单条节目送播情况。根据比较发现节目时长、节目数量、服务器数量三个配置不同，不同情况的传输效率也不尽相同。为有效提升媒体处理中心的运算效率并保证设备投入的合适性价比，根据我台栏目送播的实际需要，最终选择了6个媒体处理服务器组成媒体处理中心，完全可以满足我台各种栏目的文件送播需求。

根据栏目实际情况制定合理节目送播策略，提升送播效率，保障安全播出。针对时效性要求较高的当日栏目，要求至少提前节目时长的3倍时间开始送播，从安全性角度出发，送播时间越早越好。针对时效性不高，且文件很大的节目，要求提前一天送播，即今天送明天需要播出的节目。

5.2 技术流程设计

文件化送播系统的建设采用简单网状结构设计，应用点对点的文件传输和数据交换方式，文件和元数据可以直接到达下一个业务系统，不需要经过再次中转迁移和元数据导入转换操作。并且全台业务系统采用统一的XDCAM HD编码的MXF文件进行采集、制作、播出和存储，所以每个业务流程都不需转码操作。通过这样技术流程设计，节省大量损耗时间的中间环节，大大提升了送播效率和质量。

5.2.1 文件传输

文件传输采用第三方分布式大数据存储自带的FTP功能，通过Site to Site方式进行直接传输。发送指令后，文件通过万兆网络在两个存储间进行直接传送，中间不需经过其他存储区域中转和转码操作，可以一键传输至播出二级缓存，迁移到播出服务器后可直接播出。这样节省了文件的多次迁移过程和转码操作，提升了文件级传输的效率。

5.2.2 元数据传输

应用基于webservice的第三方接口系统，采用C/S架构实现了异构系统之间的元数据传输。元数据信息直接导入播控系统数据库，完成异构业务系统之间的元数据传输。元数据传输流程简化，节省元数据多次转换导入流程，加快了流程处理速度，并且易于业务流程故障的网络排查，可轻松确定流程故障点，流程传输稳定、方便维护。

5.2.3 技术流程对比

文件化送播系统完成了节目送播的网络化、高清化，解决了传统节目介质送播的效率低下和节目质量损耗问题，创新性的没有采用ESB+EMB双总线架构主干平台，而是基于网络互联互通的基础，通过点到点的方式完成实体文件和元数据的传输交换。文件化送播系统顺利运行后，实现了全程文件化的高清节目备播，系统中设计了多种实用功能，很好的解决了我台高清播出节目备播的所有环节，在工作效率、安全性上都有了显著提高。

六、文件化送播安全保障体系

系统通过综合运用多种技术手段在节目整备、播前、在播及播后阶段对节目单、素材、流程、信号、软件、设备等进行监测，全面保障播出的安全可靠，包括：

（1）通过主备、主备备、N+M备份、负载均衡、冷备、RAID、端口聚合等多种技术手段和方式，全实现系统软硬件及网络的高可用；

（2）通过MD5校验验证传输文件的一致性；

（3）通过信号技审、文件技审及人工复审，审核素材和节目质量；

（4）通过播前审看，提前播出检验素材的可播性和播出质量；

（5）通过运维监控系统对业务流程、信号、软件、设备、网络、数据库、机房环境等进行全面监测，全面掌握系统工作状态，并快速定位故障点；

（6）通过人工巡检，支持系统辅助工作人员进行系统巡检，并记录和生成巡检报告；

（7）通过统计分析进行数据挖掘，并指导系统、业务流程等进行持续改进。

表3 送播方案对比表

七、文件化送播系统应急方案

播出系统设计中，最重要的是安全播出，即系统的可靠性以及系统硬件或者软件出现故障时的应急方案。所以设计一套科学、合理的应急播出方案势在必行。鉴于播出工作的重要性，系统需要建立二级节目送播流程：常规送播、应急播出。常规送播需要健全节目文件化送播的关门机制，具体按照不同的节点配置相应的节目关门时间和送播撤销策略。

当送播系统出现故障或者送播文件超过播出要求的关门时间，提供应急播出解决方案。在网络出现重大故障的情况下，要有紧急的应对措施。网络如果在短时间内不能恢复，要保证能将文件安全送至播出系统以保证节目安全播出。

文件备播阶段可能发生会影响播出的故障有：节目制作网存储故障；播出系统二级存储故障，主干网络故障。为了不影响最后的安全播出，针对不同的情况有不同的应急措施：

（1）节目制作网存储故障时，停用有故障的存储节点，开启应急备播流程，非编工作站改为单机使用，并将节目文件打包并存放至主干网络中工作正常的存储，由此向播出系统推送节目文件。

（2）播出系统二级存储发生故障时，会影响大量已经存储于二级存储中的播出素材。这种方式下，采用上载工作站、视频服务器编码通道进行本地应急上载。上载工作站上载的节目直接向视频服务器迁移，视频服务器本地上载的节目可以直接进行播出。

（3）主干网络故障时，节目制作网与备播系统断开连接，启用应急送播方案。我台采用SXS卡作为中转介质，从节目制作网将节目文件下载到SXS卡上，将SXS卡送至播出部门，可以进行上载导入或由录像机直接播放。非编下载可以选择切片多段同时下载，减少应急处理时间。

图4 安全播出保障体系

八、总结

文件化送播系统采用简单网状结构，应用基于webservice的第三方接口程序，采用C/S架构实现了异构系统之间的元数据传输，而没有采用双总线架构的主干平台的ESB实现业务板块之间的元数据交换。通过此方式完成的全台各业务系统的互联互通，元数据信息可直接注册到播控系统数据库，完成异构业务系统之间的元数据传输。简化了元数据传输流程，节省元数据多次转换导入流程，加快了流程处理速度，并且易于业务流程故障排查，可轻松确定流程故障点，使流程传输稳定、方便维护。

文件传输采用第三方全对称分布式架构的大数据存储自带的FTP功能，通过Site to Site方式进行直接传输，发送指令后，文件通过万兆网络在两个存储间进行直接传送，中间不需经过其他存储区域中转操作，可以一键传输至播出二级缓存，迁移到播出服务器后可直接播出。这样节省了文件的多次迁移过程和转码操作，提升了文件级传输的效率。通过送播系统的搭建形成了制作系统多个存储和媒资系统存储的网络互联，再通过送播平台应用程序可以将这些存储集合起来，完成文件传输交换的协同工作，形成了节目送播、回传、存储、制作等业务流程工作的数据存储分散在不同存储的分布式文件系统中，保障了数据的安全性，并提升了存储利用效率，形成了我台的私有“云存储”架构。

媒体处理中心应用媒体处理池化技术和多任务并发处理技术，形成了分布式的数据处理、并行计算、负载均衡和资源动态分配的云计算模式。通过云计算使流程逻辑和数据处理（MD5、迁移、技审）相分离。灵活的分解组装适应不同的业务流程，完成了将节目素材从制作系统交互到播出系统，并在此过程中对文件格式和内容进行检验，不需要将文件读取到媒体处理服务器本地硬盘，只需读取至媒体处理服务器缓存进行高速MD5校验和切片快速技审，大大提升了文件化送播效率。

文件化送播系统的建成实现了XDCAM HD高清MXF文件在全台各业务系统的全流程应用，从拍摄、采集、制作、播出到存储各个环节均使用统一文件格式，文件在各业务板块之间进行交换传输都不需要进行转码操作，保障了节目质量的同时提升了全台网整个业务系统运行的效率。