标准化推动视频技术的发展

2018-03-26 12:30穆向昕
演艺科技 2018年2期

穆向昕

【摘 要】 围绕视频技术标准的制定,介绍当前视频技术的发展特点及未来发展的几个方向,重点介绍影响整个产业链的 HDR标准的应用。

【关键词】 视频技术;IT化标准;技术开放;HDR;智能视频

文章编号: 10.3969/j.issn.1674-8239.2018.02.010

【Abstract】The author introduces the development characteristics of the current video technology and several directions for future development around the formulation of video technology standard, and focuses on the application of the HDR standard that affects the whole industry chain.

【Key Words】video technology; IT standard; technology opening; HDR; intelligent video

视频技术 (Video Technology)泛指将一系列静态影像以电信号的方式通过捕捉、纪录、处理、储存、传送呈现出动态图像的技术;也可理解为具有时间连续感和空间、颜色分布感的信号序列应用技术。

制定技术标准是产业链的顶层环节,因此存在一流的企业做标准、二流的企业做品牌、三流的企业做产品的观点。

1 联合制定AV行业的IT化标准

在2017年,AQUANTIA、CHRISTIE、NETGEAR、SEMTECH、SONY、ZeeVee成立了以太网视频(SDVoE,Software Defined Video over Ethernet)联盟,共同制定在专业AV环境下采用以太网传输AV信号的标准,并建立以软件定义AV应用的SDVoE技术的生态系统,实现端到端的组合。SDVoE联盟现有6个发起人公司、4个合作伙伴、18家应用企业,涵盖AV设备制造商、AV软件开发商、交换机制造商、芯片组设计商、技术提供商和系统集成商,其中有一家国内注册企业。这些全球行业领导者组建的商业属性联盟,汇聚在一起协作发展。

跨界融合是科学技术进步的结果,从最初的HDBaseT联盟,AVB(TSN)联盟、到现在的SDVoE联盟,越来越多的联盟都在全面推广AV、IT的融合。随着网络带宽环境发展,有域限制矩阵AV环境及其认证许可,将向网络化信号和可跟踪巡查的IT化标准倾斜。

如果认为SDVoE联盟是过于商业化的技术推动,美国电影电视工程师协会(SMPTE ,The Society of Motion Picture and Television Engineers) 组织通过的首批ST 2110标准,则重点在于规范IP网络传输应用。SMPTE ST 2110标准系列从根本上改变了处理和传输专业媒体流的方式,用IP替代SDI,支持利用信息技术协议和基础框架的应用。SMPTE ST 2110标准让音频、视频和辅助数据流等实体流可以分开传送,可实现同步,并在终端重新汇聚。这样提升简化了附加字幕、标题,图文电视,以及处理多语言音频等任务。这个标准无形中也进一步推动了4:4:4广色域、低延时的IP流编解码器应用。

2 技术开放

上述视频技术因为标准产生了积极的效果。个案也有他出。国际电信联盟(ITU,International Telecommunication Union是联合国专门机构之一)早已批准下一代视频标准高效视频编码HEVC(High Efficiency Video Coding) /H.265,华为技术有限公司拥有其较多的核心技术。该标准旨在提供低带宽的网络下高质量视频流,可以让4K视频进入未来的宽带网络,但高于H.264数倍的解码有难度且硬件支持度欠缺。目前,经济型显卡对H.265硬解支持不够,CPU 对H.265软解稍有困难,使得H.265推广不利。

与相对需要缴纳授权费的H.265相比,谷歌(Google)联合Opera、Mozilla基金会共同发起的WebM项目,将向业界提供开源、免费的视频编码器,使支持HTML5的浏览器不需安装Flash插件就能直接观看网络视频。免费的诱惑显然对技术发展起到了推波助澜的作用,也使得下一代视频编码标准扑朔迷离。

正如2017年ISE(Integrated Systems Europe, 欧洲专业视听集成设备与技术展)上媒体的报道,黑科技已经不再那么“黑”了。在AV、IT融合的大趋势下,到处充斥着“AV over IT”,“AV over IP”,“Video over IP”, “Audio over IP ”。同时,技术开放也是追求发展的利器。

数字影院开放系统联盟(Digital Cinema Open System Alliance ,成员企业包括杜比实验室、MikroM、USL和XDC)的宗旨是开发数字影院服务器与集成媒体模块(IMB ,Integrated Media Block)产品之间的通用接口规范,并在整个影院市场推广使用这些接口规范。数字影院开放系统联盟希望能够通过这些开放式的接口标准降低开发成本、增强灵活性,并为创新提供一个良好的平台。随着IMB逐渐流行和对传统数字电影服务器放映方式的取代,中国巨幕在IMB模块的基础上延伸了中国巨幕优化处理模块PROGSP,将原有的优化器中图像采集和分析模块与图像处理模块分开,使后者以线路板形式内置于放映机中,图像信号不再以HD-SDI数据线传输,而是以数据总线插槽的方式将图像解码、图像处理和图像输出串联起来,在增加数据安全性的同时,为更高带宽需要的数据结構(如高帧率、高分辨率)做好研发基础。这个IMB方式使终端用户经济受益,同时也促进了技术的延伸发展。

3 影响整个产业链的HDR标准

占领标准制高点十分重要,全球几乎所有相关的行业标准组织都已经投身到HDR(High Dynamic Range,高动态范围)标准的制定中。作为“划时代”视频显示的变化,HDR还涉及端到端解决方案,除前端要做出高动态和3D环绕的内容,还需要在末端进行展现、渲染或重现,这实际上影响了整个产业链。HDR主要是在5个维度进行改进,分别是像素、色域、色深、帧率和动态范围。

3.1 HDR的5个标准

目前,HDR有多个标准,主要的是DolbyVision、HDR10、HLG(Hybrid Log Gamma)、SL-HDR1和DisplayHDR 1.0。

DolbyVision是杜比实验室的HDR格式,获得了SMPTE的支持,包括高达4K分辨率的感知量化(SMPTE ST 2084)、电光传输功能和宽色域色彩空间(ITU-R Rec.2020),更多地应用于电影行业,也是目前参数要求最高的专利认证的标准。

HDR10则是Samsung、SONY、LG等家电企业提供的更开放的平台、无需认证的HDR视频方案。Samsung后来又演化出HDR10+标准,与HDR10最大的区别在于加入了“动态色调映射(Dynamic Tone Mapping)”,该技术采用可变的动态元数据来帮助实时调整亮度和对比度,并逐帧优化,缩小了与“DolbyVision”之间的差距。

HLG是由英国BBC和日本NHK电视台联合开发的高动态范围HDR的一个标准,使得在高动态范围下图像采集和制作更加容易。

SL-HDR1是由意法半导体、飞利浦国际公司、CableLabs和法国Technicolor R&D;共同开发的HDR标准,在2016年8月被标准化为ETSI TS 103 433(欧洲电信标准协会标准),但影响相对较弱。

视频电子标准协会(VESA, Video Electronics Standards Association)又针对显示器产品推出了首个HDR标准,DisplayHDR 1.0标准。视频电子标准协会是一家国际化的非赢利性公司,代表世界范围内300多个企业成员,为消费类视频电子产品、个人计算机、工作站和消费者电子学工业提供支援并且设定标准的组织。DisplayHDR 1.0标准集合了业界20多家芯片、面板、显示器、系统厂商参与制定,定义了3种级别,分别对显示器的亮度、色域、色深等规格有着不同的要求。

3.2 各应用领域纷纷推动HDR的实施

在编解码方面,据媒体报道,MPEG组织针对HDR的编解码标准将于近期完成,而中国面向超高清电视和视频监控的第二代数字视频编码标准AVS(数字音视频编解码技术标准)也于不久前颁布。蓝光光碟协会(BDA)支持开放 HDR,使用 10bit HEVC 编码和 SMPTE ST 2084 标准,同时准备采用 Dolby Vision 和 Philip作为选项。BDA也会将10bit 编码和宽色域用于目前的SDR内容。

在质量评价方面,超高清联盟(UHD Alliance,成员包括DirecTV、杜比实验室、LG电子、Netflix、松下、三星电子、夏普、索尼视觉产品、Technicolor、沃尔特迪斯尼工作室、二十世纪福克斯和华纳兄弟娱乐等)在CES2016上发布的4K/HDR认证规范和标识,提出了针对电视机的HDR要求,以及基于机顶盒(包含视频解码器)的HDR要求;美国消费技术协会(CTA)也起草了关于电视和显示器行业产品支持HDR技术的内容。

在广播系统行业标准方面, DVB(数字视频广播标准,由欧洲电信标准化组织、欧洲电子标准化组织、欧洲广播联盟联合组成的联合专家组发起)在2017年推出第二版本的超高清方案,ATSC(美国高级电视业务顾问委员会数字电视国家标准)将传输HDR内容加入ATSC3.0地面广播标准。

在电视的播放与传输方面,美国消费电子协会(CEA)支持 HDR 技术,而且要符合数字电视规范文件 CEA-861-F 以及未经压缩视频规范 CEA-861.3 文件中的规定;另外,还支持 HDR10 媒体传输标准,比如可以通过 IPTV 的方式播放 HDR视频,或者通过 HDMI 接口传输 HDR视频。日本无线工业及商贸联合会(ARIB)发布了一个光电转换函数(OETF)的标准ARIB STD-B67。日本放送协会NHK也制定了传输HDR WCG图像的时间表。国际电信联盟无线电通信组ITU-R SG-6形成了有关HDR电视系统的报告小组(RG24)的建议。

3.3 中国HDR的发展

中国电子商会联合中国电子技术标准化研究院发布过《HDR显示技术认证规范》,提供的CESI赛西HDR认证标签。而相关的国家级标准正在由AVS技术应用联合推进工作组旗下HDR专题组制定。

3.4 HDR的技术门槛

HDR是高宽容度及对比度的视觉体验,前者主要由解码芯片和片源完成,而后者则是对面板最高最低亮度的改进,这都是硬生生的门槛。HDR显示编码技术的关键是对于电光转换函数(EOTF)和光电转换函数(OETF)的定义,即电信号与光信号之间的转换规则。目前主要存在两种新的电光转换方案来替代CRT时代所使用的伽马曲线,Dobly Vision HDR方案提出的感知量化编码(PQ,Perceptual Quantizer),以及HLG的对数伽马分布(Hybrid Log Gamma)。

Dobly PQ可采用12 bit色彩深度实现107高动态范围,其亮度范围达到10-3~104 nit。该方案根据显示器端人眼對亮度分辨的阈值来确定量化比特的要求,符合人的视觉生理和视觉心理,对量化比特的使用更为经济。

HLG提出的方案通过两种不同的方式来分别对HDR信号当中所包含的高光和低光部分进行解码,其中低光部分使用标准伽马曲线(这与BT.709的标准基本相同),而高光部分(超过100 nit)则使用对数曲线,在支持HDR的同时可以兼容SDR超高清电视。

由此可知,HDR技术的产业链很长,一旦标准普及,不仅可以让上述所有参与国现有芯片、整机等硬件企业从中受益,还将促进下游内容、创意、制作产业大繁荣。

4 视频技术未来发展的几个方向

在当今技术条件已经具备的情况下,标准化已经成为HDR发展亟需解决的问题。目前,标准不兼容、软件内容匮乏并不妨碍标准的推广和实践;商业化的博弈及产业政策导向,使得视频技术发展趋势在一段时间内还不会明朗。

标准的规范并不直接带来技术的发展,更多的是建立秩序,获得最佳效益。同时,标准建立在技术发展基础之上,技術在有方向性的发展,更多依赖主导企业、大品牌的先导性技术应用,离不开市场商业化。

4.1 技术向着逼近人类视觉体验极限的方向发展

未来视频技术,从LED、LCD电视到OLED电视的基础材料技术应用;从1080P到4K分辨率;从SDR到HDR;从超窄边液晶拼接到无框(NoGap)液晶拼接;从由锌、镉、硒和硫原子组合而成量子点的自发光技术,到量子点发光技术的QLED TV(背光源发光的量子点液晶电视);从BPL(蓝色磷光体激光器)、ALPD(先进的激光荧光粉显示技术)的投影显示技术,到RGB激光系统技术(“纯激光”,采用单独的红、绿、蓝激光器来生成激光,形成图像);从激光全息投影技术(front-projected holograph)到基于光场重构(空气中无介质裸眼全息成像的实像显示技术);从小间距LED屏幕到Crystal LED Display显示设备;从AR HUD(增强现实平视显示)到光屏障式、柱状透镜技术、指向光源和MLD技术的裸眼式3D技术;从虚拟现实(VR,Virtual Reality)、增强现实(AR,Augmented Reality)到混合现实(MR,Mix reality)等。

这些视频技术及产品的进化都是为逼近人类视觉体验的极限而努力。

同时,演化过程中对痛点技术问题也在研发迭代中完善,引发的应用技术革命是显而易见的。如目前高清(HD)兼容4K的过渡期,如何将高清兼容4K摄录编不同制式制作流程进化?中国应用系统工作者会在统一环境、制式及域兼容方面下功夫。但是其基础产业研发,则针对4K制作发布了制作转换器设备,用户可以实现HDR和SDR节目的同步制作、同步播出,节目制作者可以在制作4K HDR内容的同时,得到4K SDR或者HD内容,使HD和4K、ITU-R709 & ITU-BT2020、标准电视伽玛和高动态S-LOG3之间实现实时的转换,兼容了高清Rec709色域,和4K采用SDR和HDR两种色域。这一设备彻底消除了HDR和SDR的独立制作流程,节省了制作的时间和成本。

4.2 智能视频监控和人工智能

有关视频技术的发展趋势不得不提及的是智能视频监控和人工智能行业。智能视频监控包含工业自动化跨界的机器视觉技术,涉及到人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉边缘学科。作为人工智能的两个分支,计算机视觉与机器视觉在近年都取得了长足的进步。机器视觉就是用机器代替人眼来做测量和判断。智能视频(IV,IntelligentVideo)源自计算机视觉(CV,ComputerVision)技术。计算机视觉技术是人工智能(AI,ArtificialIntelligent)研究的分支之一,它能够在图像及图像描述之间建立映射关系,从而使计算能够通过数字图像处理和分析来理解视频画面中的内容。

智能视频监控机器视觉主要担负检测、识别的功能。一个典型的工业机器视觉系统包括:光源、镜头(定焦镜头、变倍镜头、远心镜头、显微镜头)、 相机(包括CCD相机和COMS相机)、图像处理单元(或图像捕获卡)、图像处理软件、监视器、通信 / 输入输出单元等。除了工业检测外,在监控和人脸识别中,随着嵌入式系统处理能力的增强,AI算法逐渐从大规模服务器转向前端部署,其嵌入式人脸识别软件可实现人脸检测、跟踪、属性识别,并可在视频处理单元(VPU)上实现人脸特征提取及比对功能。同时,更多视频数据来支持视频分析,也进一步在驱动嵌入智能的监控摄像头应用,在安防展上到处能看到单画面抓取100个人脸、每帧识别30个人脸,支持人脸角度侧脸45°、50 m外人脸识别、人脸抓取率99.5%、千亿数据秒级检索、百亿人/秒人脸识别比对,大数据云图等。

在视频图像处理过程中会涉及到对视频图像数据的采集、传输、处理、显示和回放等,这些过程共同形成了一个系统的整体周期,可以连续性的运作。目前,市场上主流的视频图像处理技术包括:智能分析处理,视频透雾增透技术,宽动态处理,超分辨率处理。特别是解决这一问题的有效途径是采用基于信号处理的软件方法对图像的空间分辨率进行提高,即超分辨率(SR:Super-Resolution)图像重建,其核心思想是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换,使得重建图像的视觉效果超过任何原有的低分辨率图像。还有雷同的基于人眼工作原理的摄像机的像素动态瞬时分配技术,可以瞬时将局部画面的有效像素提升百倍以上,整体画面可以达到数亿等效像素,在几十米内可以展现清晰的可识别人脸,100 m内看清全身特征,极速抓拍、全场景抓拍,每秒可抓拍超过100张人脸,这样有效破解了高分辨率的摄像机的门槛。

在深度学习的帮助下(尤其是随着卷积神经网络的发展),计算机的图像识别能力开始超越人类。深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,包括图像、声音和文本。虽然受到质疑,但已经在人脸识别、图像识别、语音识别,自然语言理解NLP(Neuro Linguistric Programming,神经语言程序)技术、大数据挖掘技术、无人驾驶技术等领域获得了广泛应用。

5 结语

未来无法用统计法、调研法去预测。可以预见的是,这些视频技术将与现有的各项智能技术不断的融合,变化为更多的智能化产品类型,应用于生活中,从而推动视频技术更深入地与市场商业的需求相结合,为视频技术开拓出更大的行业市场,满足人类视觉最大阈值的要求,使人类更加舒适和享受。