结合网络视频传输特性的参数规划模型

宋佳润,徐子强,杨付正

(西安电子科技大学综合业务网理论及关键技术国家重点实验室,陕西西安 710071)



结合网络视频传输特性的参数规划模型

宋佳润,徐子强,杨付正

(西安电子科技大学综合业务网理论及关键技术国家重点实验室,陕西西安 710071)

摘要:为评价网络视频的质量,提出了一种参数规划模型.该模型结合信道和视频特性,对网络丢包引起的视频质量失真进行评价,在保证网络视频业务质量的前提下对网络进行设计和优化.首先,根据网络中的丢包行为和视频的编码特性,从序列受损和帧受损角度分析视频因丢包引起的失真,并结合丢包的概率分布推导出相应的序列损伤因子和帧损伤因子.利用这些因子预测网络视频因丢包引起的失真,并最终构建参数规划模型.实验结果表明,相比于国际标准G.1070模型和T-V模型中的视频质量评价方法,通过该模型计算得到的客观视频质量和通过主观评价得到的主观视频质量的皮尔森相关系数平均提高0.042 和0.064,同时,均方根误差分别降低了0.043和0.055.

关键词:视频质量评价;规划模型;网络规划;网络丢包

近年来,网络电视(Internet Protocol Tele Vision,IPTV)、视频电话等网络视频业务飞速发展,已成为人们日常生活和工作中重要的组成部分.网络视频业务的质量直接影响到用户的使用感受,并最终决定产业的发展[1].因此,对网络视频质量进行客观评价具有重要的意义.

针对网络视频业务,视频质量评价模型被广泛应用于网络规划和视频质量监控中[2-4].规划模型根据网络及承载视频的参数预测传输视频的质量,在已知视频质量的前提下配置网络参数,从而避免网络资源的过度浪费.这类模型通常无法获得实际的视频流,只是利用网络运营商和服务提供商提供的一些视频及网络的参数信息来评价视频质量[5],如编码比特率、帧率和丢包率等.因此,这类模型也称作参数规划模型.对于网络视频质量监控业务,视频质量评估模型通过获取传输视频流中不同层次(包层、比特流层、媒体层等)的信息对视频质量进行实时和准确监控,并及时调整视频编码以及传输策略来降低网络干扰对用户体验的影响.

由于参数规划模型对视频业务的网络规划和部署具有指导作用,因此,该类模型受到广泛关注.例如,国际标准G.1070模型针对视频电话业务提出了一种参数规划模型[6],该模型使用编码比特率、最优帧率以及网络丢包强健性因子等参数对视频质量进行评价.文献[7]提出了一种基于参数的T-V模型,该模型利用网络和应用参数对视频质量进行评价,如编码比特率、丢包率等.目前,针对IPTV等网络视频业务,国际电信联盟第12研究组正在制订其相应的视频质量评估标准G.OMVS[8].由于参数规划模型只能利用服务商和运营商提供的极少的参数对视频质量进行评价,这类模型的研究进展相对比较缓慢.另外,现有的规划模型都没有充分考虑视频传输特性对视频质量造成的影响,其性能也有待进一步提升.因此,如何利用有限的参数更准确地评价视频质量是参数规划模型的重点和难点.

笔者结合视频的传输特性提出了一种用于评价网络视频质量的参数规划模型,其框架如图1所示.不同于已有的规划模型只是单纯利用统计上的网络服务质量(Quality of Service,QoS)参数(如带宽、丢包率等)对视频质量进行评价,该模型结合视频编码和信道传输的特性,从序列受损和帧受损的角度分析视频因丢包引起的失真,并结合丢包概率分布推导出相应的序列损伤因子和帧损伤因子.利用该损伤因子预测网络视频因丢包引起的失真并构建参数规划模型.该模型可较好地反映由直接丢包和错误传播等因素造成的视频失真.

图1 参数规划模型框架图

1 网络视频传输特性分析

由于网络的时变不稳定性,视频数据在网络传输中会遭受到丢包、时延和抖动等网络因素的影响,而时延和抖动在某种程度上也可等效为丢包[9].因此,准确评价丢包对视频质量的影响对网络规划和部署具有重要的意义.目前视频压缩过程中常采用预测编码技术,当视频遭受数据包丢失时,不仅会对其所在的视频帧造成失真,还会通过错误传播影响其后续的帧.特别是在实时网络视频业务中,为保证网络传输的实时性,常采用“IPPP”的编码方式.在这种情况下,视频帧的失真会使当前图像组(Group of Picture,GoP)中后续的所有帧产生失真.已有的参数规划模型大多采用丢包率或丢包频率等统计参数对丢包引起的失真进行评价,然而这些参数无法准确反映丢包对视频序列的影响.如图2所示,当丢包频率相同时,受损帧的数目随着丢包位置不同而发生变化,不同的丢包模式会导致视频质量上的差异.因此,为更准确评价视频因丢包引起的失真,需分析不同丢包模式下视频的损伤情况.下面将对每一种丢包模式中视频序列和帧的受损情况进行预测,并以此为基础,建立网络视频质量评价模型.

图2 网络视频的不同丢包模式

2 融合视频和信道特性的参数计算

为量化视频因丢包引起的失真,文中提出了序列损伤因子和帧损伤因子,其中,序列损伤因子用来反映序列的受损情况,主要由丢帧频率和丢帧位置所决定;帧损伤因子用来反映视频帧的受损情况,主要由帧内丢包数目决定.这些因子能够更准确地反映由直接丢包以及错误传播等因素引起的视频失真.对于参数规划模型,已知的信息只包括编码比特率、帧率、丢包率、数据包大小和GoP长度.接下来将利用以上信息,结合丢包概率分布计算各损伤因子.

2.1 序列损伤因子计算

为方便说明,定义丢包帧为序列中直接遭受丢包的帧.通常情况下,序列中丢包帧的数目越高,视频的损伤就会越严重.因此,丢包帧频率是反映视频序列损伤的重要指标.视频序列单位时间内的平均丢包帧频率可表示为

其中,VAFLF_T是单位时间内的平均丢包帧频率,T为某一时间段,NF为T时间内视频的总帧数,PF为丢包帧的概率,FR为视频的帧率.当丢包事件符合独立同分布时[10],每个数据包丢失的概率都相同,即等于丢包率.在这种情况下,PF可通过丢包率PP和平均每帧包含包数VP p F计算获得,即

其中,NP为T时间内视频的总包数,Psize为数据包大小,BR为编码比特率.

其中,LE为每次丢包造成的序列受损长度,PES为序列中丢帧模式的条件概率.根据洛必达法则[11],当PF趋近于0时,VEIFL接近于0;当PF趋近于1时,VEIFL接近于L.将平均丢帧频率和序列的期望受损长度的乘积记为序列损伤因子FS,即

2.2 帧损伤因子计算

除了在序列层面上考虑视频的整体受损情况,还要进一步考虑每个受损帧的损伤程度.一般来说,帧损伤可用帧内丢失数据量来衡量,帧内丢失数据越多,帧损伤越严重.目前,常用的编码器在视频压缩过程中往往引入帧内预测以及变长编码等技术,当帧内的某个数据包发生丢失时,其后续属于该视频帧的数据包的内容通常也无法正常解码,此时帧受损的数据量为丢失包和其后续包的数据总和.对于因错误传播而受到影响的帧的受损数据量,为方便起见,也可近似等于丢包帧的受损数据量.文中定义帧损伤因子FF来反映丢包对视频帧的损伤程度,该因子可用帧受损数据量占其所在帧数据总量的比例的期望值来表示,即

其中,RE为受损帧损伤比例,PE为帧内各丢包模式的概率.根据洛必达法则,当PP=0时,FF=0;当PP趋于1时,FF=1.特别的,当VP p F=1时,即平均每帧只有1个包,PF=PP,FF=1.

3 视频质量评价模型

当视频经过网络传输后,其归一化的视频质量下降值DL可表示为

其中,QL是经过网络传输后的视频质量,QC是视频的编码质量.DL主要反映由网络丢包而造成的视频失真.考虑到规划模型中可用的编码信息只有编码码率和视频帧率,因此,采用文献[12]所提的方法来计算QC,即

其中,BF为视频的平均每帧编码比特数;v1、v2和v3为实验参数.为能够客观评价视频的质量QL,必须首先确定DL值.文中选取4个分辨率为640×480的公用视频测试序列Crowd_run、Ducks_take_off、Old_town_ cross和Basketball_drive进行测试,对各个序列在恒定码率下按“IPPP”形式进行编码,设置编码码率为384 kb/s、512 kb/s、768 kb/s和1 280 kb/s,帧率为30帧/s,GoP长度为60帧.然后对编码数据进行打包,并以0.5%、1.0%和3.0%的丢包率进行随机丢包.对丢包后的视频数据进行解码,参照ITU-T建议给出的测试条件,对各个解码序列进行主观测试实验[13].由25名非专业人员使用单刺激评估法(Single Stimulus Methods,SSM)进行5分制主观评估实验,得到平均主观分值.利用视频质量的主观分值,根据式(7)获得DL值.利用已知参数计算视频的FS和FF.图3从不同视角给出了DL与FS、FF之间的关系.当网络条件较差时,视频的FS和FF值相对较高,相应的DL值也较大,并接近于1;当网络条件较好时,FS和FF的值相对较低,DL值也较小,并接近于0.根据以上分析并结合图3中的拟合曲线,DL与FS、FF的关系可表示为

其中,v4、v5和v6为实验参数,可通过最小二乘拟合获得;v5和v6分别反映FS、FF对DL的影响程度.将式(10)代入式(7),可获得视频质量为

图3 DL与FS、FF的关系图

4 实验结果

表1 模型参数

为验证模型性能,选取8个分辨率均为640×480的Crowd_run、Ducks_take_off、Old_town_cross、Basketball_drive、In_to_tree、Park_joy、Riverbed和Rush_field_cuts序列进行测试.采用目前较常用的x.264编码器[14]对各个序列在恒定码率为256 kb/s、576 kb/s、1 024 kb/s和1 536 kb/s下进行编码,其编码形式为“IPPP”,帧率为30帧/s,GoP长度为60帧.为模拟网络丢包,采用RTP/UDP/IP协议栈对压缩后的视频流进行打包封装处理,每包最大负载长度为1500 B.对打包数据进行随机丢包,丢包率分别为0.2%、0.5%、 1.0%、2.0%、3.0%和5.0%.另外,对各序列用ffmpeg解码器进行解码,对丢包后的视频采用零运动误码掩盖方法(Zero Motion Error Concealment,ZMEC)进行处理.采用SSM评估法进行5分制主观评估实验,得到视频的平均主观分值.表1给出该模型各参数的值,其中,v1、v2和v3通过参考文献[12]的方法获得,v4、v5和v6利用图3中的数据通过最小二乘拟合获得.针对采用不同编码器、编码方式及分辨率的视频,模型的系数可能需要重新训练.

通过计算主观质量分数和模型所得的客观质量分数的皮尔森相关系数(Pearson Correlation Coefficient,PCC)和均方根误差(Root Mean Square Error,RMSE)来对模型性能进行评价.将文中提出的模型与已有的G.1070模型[6]和T-V模型[7]进行比较,各个模型的性能在表2中列出.由表2可知,文中提出的模型的评价性能要优于G.1070模型和T-V模型的性能.其中,PCC值分别提高了0.042和0.064,RMSE值分别下降了0.043和0.055.说明文中提出的模型能够更准确地反映丢包对视频质量造成的影响.图4分别给出了各个模型预测的客观质量与主观质量之间的散点图.通过比较可直观地验证上述结论.

表2 模型评价性能比较

图4 模型主客观质量散点图

5 结束语

结合网络视频的传输特性,提出了一种新的网络视频参数规划模型.不同于已有的规划模型只是单纯考虑统计意义上的网络和应用参数,文中结合信道的丢包特性和视频的编码特性,分析丢包引起的视频序列受损和帧受损情况,在此基础上结合信道丢包概率分布推导出相应的序列损伤因子和帧损伤因子,并利用这些因子预测视频因丢包引起的失真,从而构建参数规划模型.实验结果表明,文中提出的模型能够更有效地预测由直接丢包和错误传播等因素造成的视频质量失真.利用该模型,可以在给定预期视频质量的前提下对网络进行更好的设计和优化.

参考文献:

[1]杨付正,万帅.网络视频质量评估技术研究现状及发展动向[J].通信学报,2012,33(4):107-114.YANG Fuzheng,WAN Shuai.Overview of State-of-the-art and Future of Networked Video Quality Assessment[J].Journal on Communications,2012,33(4):107-114.

[2]吴炜,陈健,宋彬.一种新的H.264/AVC视频编码失真估计算法[J].西安电子科技大学学报,2013,40(3):1-6.WU Wei,CHEN Jian,SONG Bin.Novel Video Coding Distortion Estimation Algorithm for H.264/AVC[J].Journal of Xidian University,2013,40(3):1-6.

[3]宋佳润,苏洪磊,杨付正.网络视频质量包层评估模型研究[J].西安交通大学学报,2013,47(6):37-43.SONG Jiarun,SU Honglei,YANG Fuzheng.Packet Layer Assessment Model for Networked Video Quality[J].Journal of Xi’an Jiaotong University,2013,47(6):37-43.

[4]余春艳,吴丽丽,陈国龙,等.基于运动剧烈程度的无参考视频质量评价模型[J].光子学报,2013,42(7):864-871.YU Chunyan,WU Lili,CHEN Guolong,et al.A No-reference Assessment Model for Video Quality Based on Movement Activity[J].Acta Photonica Sinica,2013,42(7):864-871.

[5]YANG F,WAN S.Bitstream-based Quality Assessment for Networked Video:a Review[J].IEEE Communications Magazine,2012,50(11):203-209.

[6]TELECOMMUNICATION STANDARDIZATION SECTOR.Opinion Model for Video-Telephony Applications:ITU-T Recommendation G.1070[S].Geneva:ITU,2007.

[7]RAAKE A,GARCIA M,BERGER J,et al.T-V-model:Parameter-based Prediction of IPTV Quality[C]// Proceedings of the IEEE International Conference on Acoustics,Speech,and Signal Processing.Piscataway:IEEE,2008:1149-1152.

[8]TELECOMMUNICATION STANDARDIZATION SECTOR.2 Used as Planning Model:ITU-T contribution 65.P.1201[S].Geneva:ITU,2013.

[9]LI Z,CHAKARESKI J,NIU X,et al.Modeling and Analysis of Distortion Caused by Markov-model Burst Packet Losses in Video Transmission[J].IEEE Transactions on Circuits and Systems for Video Technology,2009,19(7):917-931.

[10]GNEDENKO B,SECKLER B,TEICHMANN T.The Theory of Probability[J].Physics Today,2009,15(10):62-64.

[11]TAYLOR A.L’Hospital’s Rule[J].American Mathematical Monthly,1952,59(1):20-24.

[12]YANG F,SONG J,WAN S,et al.Content-adaptive Packet-layer Model for Quality Assessment of Networked Video Services[J].IEEE Journal of Selected Topics in Signal Processing,2012,6(6):672-683.

[13]TELECOMMUNICATION STANDARDIZATION SECTOR.Methodology for the Subjective Assessment of the Quality of Television Pictures:ITU-R BT.500-11[S].Geneva:ITU,2002.

[14]AIMAR L,MERRITT L,PETIT E,et al.x264-a free h264/AVC encoder[EB/OL].[2013-08-23].http://www.videolan.org/developers/x264.html.

(编辑:齐淑娟)

简 讯

日前,一款由计算机学院刘志镜教授团队设计开发的“农掌门”惠农服务平台,已经走进陕西蒲城县的田间地头,成为当地农民进行农业生产的好帮手.这一新型的农业服务平台,有效解决了农业科技信息服务与推广“最后一公里”的问题,有望成为“互联网+现代农业”的新模式.据介绍,目前“农掌门”惠农服务平台分为用户端和专家端,其中用户端有互联网版、手机版和手机APP(有安卓平台和IOS平台)三个版本,通过任何一台能上网的普通手机即可登录,用户使用永远免费;专家端专供农业专家使用,需使用定制手机登录.目前,该系统数据存储在陕西工业云中心.从功能上讲,“农掌门”不仅可以为农民提供丰富的种养殖技术服务、病虫害远程互动诊断和农业大棚种植可视化监控等,还可以通过大数据挖掘分析,及时、准确地判断出病虫害地理位置分布与灾情漂移趋势.

摘自《西电科大报》2015.11.28

Parametric-planning model combining the transmission characteristics of network video service

SONG Jiarun,XU Ziqiang,YANG Fuzheng
(State Key Lab.of Integrated Service Networks,Xidian Univ.,Xi’an 710071,China)

Abstract:To evaluate the network video quality,a parametric-planning model is presented.Combining the characteristics of the channel and video sequence,the proposed model evaluates the video distortion caused by packet loss.It can be applied to effective network design and optimization on the premise of the quality of the video services.Firstly,by a detailed analysis of the packet loss behaviors and the characteristics of the video coding,a sequence distortion factor and a frame distortion factor are derived by combining the probability distributions of the packet loss event,which can reflect the video distortion from the perspective of the sequence impairment and frame impairment.Utilizing these factors,the video distortion caused by packet loss is evaluated and finally the parametric planning model is established.Experimental results show that compared with G.1070 and T-V models,the proposed model gets an increment of about 0.042 and 0.064 in Pearson Correlation Coefficient(PCC)and a decrement of about 0.043 and 0.055 in Root Mean Squared Error(RMSE).

Key Words:video quality estimation;planning model;network planning;packet loss

作者简介:宋佳润(1987-),男,西安电子科技大学博士研究生,E-mail:jrsong@stu.xidian.edu.cn.

基金项目:国家自然科学基金资助项目(613710896)

收稿日期:2014-10-21

doi:10.3969/j.issn.1001-2400.2016.02.029

中图分类号:TN919.8

文献标识码:A

文章编号:1001-2400(2016)02-0168-06