百万级视频数据的数字化传输管理

王嘉寅

中远海运科技股份有限公司,上海 200135)

0 引 言

随着城市中的视频监控数据越来越多,城市基础设施建设不断完善,各行各业对城市百万级视频数据的要求不断提高,如何通过聚融合的媒体服务、视频源头转发、数据全方位汇聚和数据多方式共享等方式实现对超大型城市和特大型城市百万级视频数据的统筹性汇聚转发,使其安全高效地供各类智能图像应用使用,已成为图像建设领域实现数字化转型的关键。

在该背景下,本文结合图像应用的发展趋势,通过研究具有资源集聚能力的视频数据传输管理体系架构,提升图像业务数据的健壮性及其管理应用的可靠性。在监控联网范围方面,主要涉及路面、空域、固定、移动、视频、图片和数据等多模态资源汇聚,由传统的只转发联网管理的监控视频的模式转变为对图片结构化数据、特征码和报警数据等多种图像数据进行融合的模式;在感知设备方面,由传统的道路监控设备有线接入的方式转变为可接入无人机、4G执法记录仪、手机和车载终端等全方位感知设备的方式;在联网数据业务数据转发方面,采用控制信令和媒体流松耦合的方式实现联网业务数据通过最短路径转发给媒体流资源池;在可靠性技术措施方面,由传统的软硬件备份冗余机制转变为可支持核心数据全局分布式备份的机制;在安全管控措施方面,由“重建设、重应用、轻安全”转变为“重建设、重应用、重安全”,既确保视频数据能供外部用户正常使用,又防止视频信息泄露。

1 百万级视频联网传输架构现状

近年来,随着IP(Internet Protocol)网络监控技术的不断发展,模拟监控时代逐渐落下帷幕,图像监控系统逐渐步入数字化、网络化、高清化、集成化和智能化阶段,其建设和应用环境逐渐成熟。为适应数字高清监控技术的发展趋势,同时遵循《安全防范视频监控联网系统信息传输、交换、控制技术要求》(GB/T 28181—2016)的建设原则,针对涉及公共安全的高清数字视频监控系统,以IP网络监控为技术路线,采用逐级联网共享模式,在2016年构建了高清视频监控三级联网架构(见图1,其中:SD为标清码流;HD为高清码流),初步实现了对视频资源的汇聚整合和统一管理。

图1 三级联网架构现状图

该架构主要分为3个层面:

1) 一级层面,负责国标认证管理、权限配置管理、全局控制管理、流媒体转发、指挥显示、图像信息应用和与外单位共享接入等;

2) 二级层面,负责高清监控设备(包括网络摄像机、网络硬盘录像机和解码器等)接入和国标注册认证、节点控制管理、存储与转发、指挥显示、其他应用系统及与下级单位共享接入等;

3) 二级层面,负责高清监控设备(包括网络摄像机、网络硬盘录像机和解码器等)接入和国标注册认证、节点控制管理、存储与转发、指挥显示、其他应用系统及其视频资源接入等。

2 目前视频管理体系存在的问题

随着高清数字视频监控系统的全面建设,公共区域的监控资源达到了百万级,同时各行各业对图像共享应用和图像智能分析的需求日益增加,而高清视频监控三级联网架构受规划建设时间和逐级联网模式的限制,往往存在前端视频资源接入量受限、流媒体转发性能低、多级联网及多网络传输时延时长和无法提供稳定持续的视频流等问题。同时,因近年来业界对视频共享安全策略的要求越来越高,导致现有的高清视频监控三级联网架构在视频资源安全可控、资源权限控制和IP登录权限控制等方面存在缺陷,具体表现如下。

1) 前端视频资源接入量少,并发性能差。目前的高清视频监控三级联网架构主要以“模拟到数字”图像监控系统的发展为技术思路,规划建设于2016年。前期基于该架构建设的高清数字视频监控系统的单套系统仅具有4 000路前端视频监控资源接入管理能力和50路流媒体并发能力,其性能已无法满足目前的百万级视频数据接入管理需求和流媒体并发需求,必须通过堆叠大量设备进行扩容才能满足,这对机房空间提出了新的挑战。

2) 视频调阅的需求旺盛,导致图像卡顿。目前的视频监控系统采用的是三级联网架构,在百万级视频转发传输过程中,由于各行各业对视频调阅的需求比较旺盛,常导致视频出现卡顿和丢帧的问题,PTZ(Pan/Tilt/Zoom)云台控制存在延时,从而降低视频图像的可用性,引发视频播放出现“脱节”和“断篇”等问题,严重影响对百万级视频的处理和图像应用的实战性。在该背景下,需优化转发环节,减少联网层级。

3) 带宽受限,导致视频存在延迟。早期建设的交换机仅支持千兆带宽,而百万级视频资源因交换机转发速率超过了端口速率的上限,其播放会出现卡顿、延迟和不顺畅等现象,在特殊情况下会出现无法访问和页面无法打开的现象。因此,提升系统的自我保护能力,保证视频数据的可靠性和连续性尤为重要。

4) 移动视频无法直接调阅。由于移动视频的编码标准和接入方式与国标视频监控设备存在差异,难以实现视频传输的有效衔接,导致移动视频不能直接播放。针对这种情况,本文利用聚融合服务技术完善多态数据类型的接入和共享应用。

5) 权限管理复杂,导致资源被抢占。百万级视频管理具有视频类型多和数据冗杂的特点,且对重点区域各类用户调用的需求量较大,因此需设置权限避免资源被抢占,删除多余的程序,保证权限设置的可操作性和可实践性,从而不断提升系统运行的顺畅度和衔接度。

6) 缺乏针对视频流的安全加固策略。由于高清数字视频监控系统已逐步实现数字化、网络化,在大规模联网、云计算和人工智能等新技术快速发展的背景下,高清数字视频监控系统面临的安全威胁发生了巨大变化,特别是在目前建设智能化应用时,早期建设的视频监系统已无法满足对百万级视频数据的安全管控需求,其伴随的网络安全问题也日渐突出。

3 百万级视频数据传输策略分析

根据目前视频管理体系存在的问题,按照GB/T 28181—2016、《公安视频图像信息应用系统》(GA/T 1400—2017)和《公共安全视频监控联网信息安全技术要求》(GB 35114—2017)等有关标准的要求,以优化视频图像联网架构,提升视频接入和转发性能,实现资源安全可控为原则,对百万级视频数据传输策略进行分析。

1) 通过分布式控制管理模式优化视频图像联网架构。

从联网拓补架构出发,摒弃原有的高清视频监控三级联网架构中的逐级联网模式,以分而自治和综合协调为设计原则,融合计算机技术、网络技术、通信技术和自动控制技术,优化视频转发策略,实现两级式分布控制和统一管理模式,即在视频数据接入、转发过程中对图像进行分布式转发和全网统一管理,从而构造层次化的视频图像联网架构。在统一管理层面由一级管理节点对全网的视频资源进行汇聚整合和统一管理,在分布式图像转层面由各二级管理节点接入前端百万级视频资源,并为本地电视墙、PC(Personal Computer)客户端、智能分析系统、手机和第三方视频共享及应用平台等提供高效的图像转发服务,从而确保视频数据能有效传递,便于对全网视频数据进行统筹管理。图2为优化的视频图像联网架构。

图2 优化的视频图像联网架构

2) 软硬件一体化部署,提升整体接入和转发性能。

高清数字视频监控系统最重要的功能是实现百万级视频图像的联网接入和管理。本文从系统工程的角度出发,思考如何将大系统分解成小系统和如何将小系统“有机”整合成大系统2个问题,最终采用软硬件一体化设备进行系统搭建。软硬件一体化部署能为多种类型处理引擎的深度协作(即超异构计算)提供切实可行的体系化解决方式,即深入分析超异构计算复杂系统存在的各种规律,复杂系统可利用的特征“约束”,以及通过系统分解再融合等多种措施共同实现超异构编程的显著简化,由此实现超异构计算的可驾驭性,最终实现对大量视频图像的接入、转发和管理,从而规避服务器硬件存在的稳定性差和性价比不高的问题。

3) 构建流媒体转发资源池,统一规划调度。

为满足城市数字化转型对大量视频数据的共享需求,构建数据转发资源池,不再单一对应单个控制管理服务,主要进行整体、统一的管理。这就需要做好服务集群层级化设置工作,如在城市视频图像高并发情况下,资源池通过统一规划调度,将视频图像信息请求动态透明地重定向到负载最轻的流服务器上,新增的访问请求根据负载计算结果自动选择负荷最轻的流服务器,由此缓解海量访问带来的压力。图3为数据转发演变。

图3 数据转发演变

4) 遵循视频源头转发策略,缓解转发延迟。

常规的实时视频转发以视频调用终端所在节点的媒体服务为转发资源,负责为视频调用终端取流转发。当被调用视频不属于本地管理节点直接接入的前端点位时,该节点的媒体服务将根据被调用视频的共享路径逐级向下级节点的媒体服务进行取流转发。当视频联网体系为多级级联共享体系时,被调用视频从接入节点到调取节点经过4～5级汇聚共享,被调用视频也必须经过4～5级视频转发,按每级视频转发产生200 ms延时计算,会产生多达1 s的转发延迟。本文研究的是视频源头转发策略,即当视频调阅终端产生调用请求时,调用方的管理节点根据全网同步的资源目录检索被调用视频的接入管理节点,并向被调用视频的管理节点发起视频调用请求。被调用视频的管理节点直接调度本地的媒体服务进行取流转发,即视频源头属于哪个节点,就由该节点的媒体服务负责取流转发。当未达到一级转发阈值时,绝大多数的应用场景会由视频所在媒体服务完成视频转发。

5) 聚融合服务技术,多态数据类数据全方位汇聚。

针对城市视频图像数据多维、分散和海量的特点,兼容不同的数据接入方案进行数据源接入,能分别接入感知设备、移动终端、PC录屏、微信小程序和视频云平台等多源数据,将其汇聚到媒体服务中完成数据处理和分发。同时,能以数据多方式共享的方式,通过统一媒体服务,聚合多态数据,高效融合处理,实时混合输出和共享,融合数据分发的目标包括平台服务、网页、拼接大屏、移动终端和解码器等多源终端,为视频图像数据的应用提供终端开拓和应用延展功能[1]。图4为聚融合媒体服务示意图。

图4 聚融合媒体服务示意图

6) 多模式容灾备份,断线局部自治。

通过探索集群工作模式进行高可靠性的保护,保证在任意节点出现故障的情况下,能迅速由其他节点接管该故障节点的工作。在故障节点恢复正常之后,接管其工作的节点设备自动将接管的前端设备移交给该节点,提升系统的自我保护能力,保证视频数据的可靠性和连续性。在启用集群调度之后,集群内的设备能享受到负载均衡服务。所有的负载压力会自动分担到各节点上。集群会定期收集各节点的状态和负载情况,若发现负载严重失衡,则及时进行调整。当新的业务到来、故障节点上的业务发生转移时,调度服务会智能地选择最优的负载分配策略,在保证各节点承担的业务负载不超过其承载能力的同时,尽量令各节点的压力平均。调度算法根据各节点的软硬件配置智能分配业务压力,配置好的设备会承担更多的业务压力。负载均衡技术能使各节点设备的使用寿命和节能性等指标均达到最优。

此外,探究运用多模态的容灾机制,即对管理设备热备集群和转发集群的设备进行备份,并同步对管理集群节点和转发集群节点进行备份。当同一个机房的多个管理节点进行多机热备组成集群时,在确保1台设备宕机之后,通过虚拟IP对国标注册设备进行持续有效的管理。当同一个管理集群节点的所有管理设备都出现故障时,即某个机房管理节点出现故障时,其他管理节点可对其管辖的转发集群和设备进行控制。当同一个转发集群节点的所有转发设备都出现故障时,即某个二级转发集群节点出现故障时,由于一级节点的数据同步,其他节点可通过ONVIF(Open Network Video Interface Forum)协议对其管辖的在线前端进行控制、接入和转发。从单点设备故障到机房整体故障,运用全方位的容灾方式进行“断线局部自治”,不会因发生系统性故障而导致全网瘫痪,保证设备正常、有序运行[1]。图5为转发集群节点备份。

图5 转发集群节点备份

7) 视频数据的安全加固措施。

高清数字视频监控系统整体架构在较为开放的IP网络上,无论是从业务层面和政策层面看,还是从功能层面看,都对视频监控系统提出了安全需求,要求进一步提升系统的安全防护能力。因此,为给视频共享构建安全可靠的支撑环境,需结合GB 35114—2017采取必要的安全管控措施,从而确保视频数据供第三方应用平台正常使用,并防止视频信息泄露。

本文在当前视频联网的基础功能的基础上扩展与安全有关的内容,包括身份证书、加密算法、码流格式和码流加解密等。在系统架构中,包括设备接入和系统联网,采用会话通道协议、媒体流通道协议和证书通道协议完成信令和数据交互,开发具有安全功能的客户端、服务端、用户端和视频安全密钥服务系统。前端设备证书通过内置安全芯片实现;用户终端证书通过USB Key(Universal Serial Bus Key)或密码卡实现[2];与安全平台关联的服务器证书通过PCIe(Peripheral Component Interconnect Express)密码卡或密码机实现。视频安全密钥服务系统负责系统中数字证书的制作、发放、查询、校验和对称密钥管理等,实现重要视频图像信息不失控,敏感视频图像信息不泄露[3]。图6为系统安全互联结构示意图。

图6 系统安全互联结构示意图

4 模拟测试环境搭建

目前已在高清数字视频三级联网架构内搭建平行模拟测试环境,重点通过试验评估视频数据传输管理体系的极限并发能力、传输延时、在极限压力下的资源利用率、灾备可靠性、接口稳定性和用户权限管理等。在模拟系统运行期间测得的部分性能情况见表1;部分功能测试情况见表2。

表1 在模拟系统运行期间测得的部分性能情况

表2 部分功能测试情况

5 模拟测试结论

本文研究的具备资源集聚能力的视频数据传输管理体系是面向城市百万级视频数据,结合现有的高清数字视频监控系统的基础功能和性能进行的功能和性能升级迭代。模拟测试结果显示,在设备接入方面,该系统符合GB/T 28181—2016和GB 35114—2017等标准的要求,扩大了监控联网范围,能使原先单一的固定视频设备的资源汇聚转变为可接入无人机、4G执法记录仪和移动终端等全方位感知设备的多模态资源汇聚;在流媒体转发方面,该系统能提供扁平化的图像转发方式,为各类终端应用和第三方应用平台提供高效的图像转发服务;在容灾备份方面,通过对核心数据进行分布式备份和集群管理,当系统和设备出现故障时能进行断线局部自治,当系统负载过高时能进行统一的规划分配,从而提升系统的自我保护能力,保证视频数据传输的可靠性和连续性,减少系统及设备出现故障引发的业务断层现象;在信息安全管理方面,通过在级联过程中采用加密协议,确保视频数据能供外部用户正常使用,同时防止视频信息泄露,从而进一步提升整个系统的安全防护能力。

6 结 语

在研究论证过程中,除了搭建平行模拟测试环境以外,还基于机房分布和点位布局情况选择了2个应用示范点,对本文所述系统的技术架构、设备的可实施性和可用性进行论证。

在模拟测试环境和应用示范论证过程中,通过分别接入前端感知设备、移动终端(如无人机)、PC录屏、微信小程序和视频云平台等多源数据,并将其汇聚到媒体服务中,完成数据处理和分发,进而实现对视频、图片及智能数据等多模态资源的接入能力和汇聚管理能力的论证。

同时,对系统的500路视频流的并发能力进行测试,搭建联网节点作为新型公安多模态视频数据传输管理体系架构平台的国标上级,并在其中配置500个实时视频点位。当流媒体转发数量达到500路时,对设备的中央处理器(Central Processing Unit, CPU)、内存、硬盘和网络的资源利用率进行监测,结果发现该节点支持转发500路高清视频码流,转发设备在并发500路负载下的CPU、内存、硬盘和网络的资源利用率均小于85%。

此外,在具有完备的容灾备份机制的情况下,当一级或二级节点的单台媒体设备发生故障时,可由管理设备调度其他媒体设备承担故障设备当前的转发任务。这主要是由于在模拟测试环境和应用示范论证过程中配置了多个媒体服务,因此当系统运行时,只要还有1个媒体服务在线,就可提供正常的服务器,其他媒体服务离线或崩溃均不会对系统的运行产生影响。同时,在有多个媒体服务的管理节点中,经测试,在某个媒体服务的服务器宕机的情况下,仍有保活的媒体服务会接管该服务器当前的转发任务。

除了对百万级视频数据数字化传输管理技术架构的功能和性能进行论证之外,还与目前市场上在售的多种视频联网设备进行了对接,并就本文所述系统的功能和性能进行了分析,虽然不同厂家的产品各有不同,但联网的基础功能均能符合要求,只是部分个性化功能存在差异。总体来看,目前市场上在售产品的功能和性能基本上能满足本文所述系统方案的要求。

综合上述分析可知,本文研究的百万级视频图像数字化管理体系满足百万级视频数据传输管理的实际需求,具有推广应用价值。