采用内容划分方法的视频质量评价

1.中国电子设备系统工程公司，北京 100141

2.重庆通信学院 军事网格实验室，重庆 400035

3.解放军理工大学 指挥自动化学院，南京 210007

1.中国电子设备系统工程公司，北京 100141

2.重庆通信学院 军事网格实验室，重庆 400035

3.解放军理工大学 指挥自动化学院，南京 210007

1 引言

通常来说，人是视频应用的最终消费者，因此评价视频质量最准确的办法是主观质量评价。但是根据ITU-T BT500所规定的方法进行主观质量评价，不但要花费大量的人力和物力，而且无法嵌入到视频应用系统中。因此，如何获得高效的客观视频质量评价算法已经成为目前亟待解决的问题。

根据参考视频的可用程度可将目前的客观视频质量评价算法分为三类。第一类是全参考算法，参考视频完全可用，将失真视频和参考视频进行比对，以与参考视频的接近程度来衡量失真视频的质量；第二类是半参考算法，仅仅知道参考视频的某些图像特性，将失真视频和参考视频中已知的图像特性进行对比，以这些特性的接近程度来衡量失真视频的质量；第三种是无参考算法，不需要参考视频，根据人类视觉特性直接对失真视频进行质量评价。由于后两种算法没有完整的参考视频作为比较基准，而仅仅以某些图像特性和人类视觉特性作为算法的基础，评价准确性难以保证。因此，目前研究的重点仍是全参考算法。

由于计算简单，峰值信噪比PSNR在相当长的时期内都是评价视频质量的重要方法，但大量事实表明其评价结果在很多情况下与人的真实感受不一致，比如，PSNR值很高但视频的质量却很差。为了解决这个问题，许多能反映人真实感受的客观视频质量评价算法先后被提出。Zhou Wang等根据人类视觉系统对自然图像的结构敏感性原理提出了基于结构相似性的SSIM[1]算法。之后，在此基础上，Zhou Wang又通过对图像的反复低通过滤和降采样将原来的算法扩展为MSSIM[2]，使其在性能上有了较大的提高。VSNR[3]利用小波进行图像分析，将可观察到的自然图像失真通过两个阙值进行量化并扩展到视频质量评价中去，取得了较好的效果。由美国国家电信管理中心开发的VQM[4]算法因其在VQEG Phase 2视频测试序列库上的良好效果，已被美国国家标准研究院制定为国家标准。V-VIF[5]通过时间延伸的方法来度量失真视频的信息保真度，在时间域上反映了视频的失真程度。

但是，人类在观看视频时对不同区域的敏感程度是不同的，而目前的算法在设计时并没有引入这种思想。基于这一点，本文在结构相似性的基础上先对图像进行分割，再对不同的分割区域分别进行质量评价。最后，采用运动估计帧加权的方式将其扩展为视频质量评价。

2 基于结构相似性的SSIM算法

研究指出自然图像是高度结构化的，而且人类视觉系统对自然图像的结构失真是高度敏感的，结构失真会造成图像质量的大幅下降。基于上述事实，SSIM算法在经过空间校准后的参考图像x和失真图像 y之间定义了如下三个比较函数：

其中 l(x，y)，c(x，y)，s(x，y)分别是亮度，对比度和结构比较函数；μx和 μy分别是 x和 y的样本平均值；σx和σy分别是 x和 y的样本标准差；σxy是 x和 y的样本相关系数；C1、C2和C3是足够小的正常数，用来保证以上3个函数的分母趋近于0时的计算稳定性。联合以上3个方程，两个图像的结构相似度SSIM(x，y)由以下公式给出：

其中，α，β和γ是调整三个部分的权重系数。一般取C2= 2C3，α=β=γ=1，那么结构相似度的一种普通形式为：

一般情况下，SSIM在一个11×11的滑动窗口内计算，滑动窗口逐像素地在整个图像空间内滑动。最后，对所有窗口的SSIM值取平均得到整幅图像的SSIM值。同时，相应的SSIM映射图可以直观地看出图像的结构失真部分。

传统的SSIM算法从结构失真的角度考虑失真图像的质量，虽然在一定程度上反映了人类视觉系统的真实感受，但是并没有考虑到具体的图像内容，例如，边缘区域必然包含了极其重要的图像信息[6]，而且人类视觉系统对其失真也是相当敏感的，如果将它和图像中的平坦光滑区域赋予同样的权值，显然是不合理的。因此，根据实际的内容将图像划分为不同的区域对其进行更细致的分析，并根据人对不同区域失真的敏感程度赋予不同的权值，则能更真实地反映人的视觉感受。

3 基于内容划分的4-SSIM算法

基于人类视觉系统对图像不同区域敏感程度不同的思想，在SSIM算法的基础上采用内容划分的方法将图像分为4部分，并赋予不同的权值，得到了基于内容划分的4-SSIM算法。

3.1 4-SSIM算法的整体流程

4-SSIM算法的整体流程如图1所示，共分为4个步骤：

（1）计算失真图像的SSIM映射图。

（2）在不考虑SSIM计算结果的情况下，跟据变化率将参考图像和失真图像划分成4个区域。

（3）依据人类视觉系统的敏感程度赋予不同区域不同的权值。

（4）对所有区域进行加权求和。

3.2 4-SSIM算法的内容划分方法

图1 4-SSIM算法流程图

在4-SSIM算法中，将图像划分为4个部分：（1）改变的边缘区域：在参考（或失真）图像中存在，而在失真（或参考）图像中的不存在的边缘区域；（2）保留的边缘区域：在参考和失真图像中相同的边缘区域；（3）纹理区域：图像细节密集而人类视觉系统无法分辨的区域；（4）光滑区域：图像光滑，细节较少的区域。文献[7]给出了将图像划分为3个区域的方法，本文在此基础上进行了修改，将图像划分为4个部分，并根据实验结果对阙值进行了适当调整。具体的划分步骤如下：

（1）在参考和失真图像上的滑动窗口中通过Sobel算子计算图像的变化率。

（2）确定阙值：T1=a·gmax，T2=b·gmax，其中 gmax参考图像中的最大变化率；一般取a=0.1，b=0.05，并且图像中边缘区域较多时，a的取值应当适当减小；光滑区域较多，b的取值应当适当增大。

（3）令 pr(i，j)表示参考图像在点(i，j)处的变化率，pd(i，j)表示失真图像在点(i，j)处的变化率，根据如下规则确定每个像素点具体属于哪个区域：

①如果 pr(i，j)＞ T1且 pd(i，j)＞ T1，则此像素点属于保留的边缘区域。

②如 果 pr(i，j)＞T1且 pd(i，j)≤T1， 或 pd(i，j)＞T1且pr(i，j)≤T1，则此像素点属于改变的边缘区域。

③如果 pr(i，j)＜ T2且 pd(i，j)＞T1，则此点属于光滑区域。

④否则，该点属于纹理区域。

3.3 确定各个区域的权值

边缘在图像感知中起着非常重要的作用，边缘的失真会对图像质量产生非常重要的影响，因此，给边缘区域赋予较高的权值。在本文中，分别赋予两个边缘区域0.4的权值。根据人类视觉系统的失真遮蔽效应，纹理区域的失真基本被掩盖了，几乎无法觉察。在光滑区域中，人类视觉系统除了对假轮廓，块效应和高频噪声等个别失真类型有细微觉察，其他类型的失真也不易被觉察，因此给光滑和纹理区域赋予较小的权值。在本文中，对纹理和光滑区域，分别赋予0.1的权值。

4 基于运动估计的视频质量评价

视频是由连续的帧序列组成的，每一帧又是一张静态图片，所以图像质量评价可以作为视频质量评价的基础。但是，由于在视频中帧一般是以每秒25～30张的速度连续播放的，人在观看时能明显感觉到视频中物体的运动具有连续性，并能判断出运动的大小和方向。而在静态图片中，物体运动的大小和方向是无法准确获取的，如果简单地将每一帧的质量进行求和平均作为整个视频的质量显然是不合理的。因此，充分考虑视频中物体的运动特性，对视频中物体的运动情况进行判断，才能更好地反映出人观看视频时的真实感受。在本文中，利用运动向量进行运动估计，提出了基于运动的帧加权求和方法。

4.1 基于4-SSIM的视频质量评价

在局部区域级，帧级，和序列级分别对视频进行分析，度量失真视频的质量，具体的算法流程如图2所示。

图2 视频质量评价流程图

首先，分析局部区域。从参考和失真视频中对应帧的对应空间位置上随机地提取一些11×11图像块。与图像质量评价算法中的方法不同的是，在这里仅仅提取一部分样本区域，而不是使用滑动窗口逐个像素的滑动。令Rs表示样本密度，代表每个帧中提取的样本窗口的个数。在实验中发现，一个合适的Rs的取值能够在保证算法质量几乎不受影响的情况下大大降低算法的复杂度。在YUV视频的Y，Cr和Cb三个部分上分别使用4-SSIM算法。根据人类视觉系统的亮度敏感性原理，亮度Y对视频质量影响很大，而色度Cr和Cb影响较小，分别赋予它们0.8，0.1和0.1的权值。最后，进行加权求和得到该图像块的质量。令4-SSIMij代表第i帧中的第 j个选中的样本窗口的质量，分别代表4-SSIM在Y， Cr和Cb三个部分上的计算结果，那么：

然后，求帧的质量。令Qi代表视频中第i帧的质量，ωij代表第i帧中的第 j个选中的样本窗口的权值，那么：

根据亮度敏感性原理，黑暗的区域通常不会引起观察者的注意，应当赋予较小的权值，而较亮的区域应当赋予较大权值。通过当前帧的样本均值μi根据公式（8）来调节其权值：

最后，求整个视频序列的质量。令Qv代表整个视频序列的质量，F代表视频序列中所含的帧数，Wi代表第i帧的权值，那么：

4.2 基于运动估计的帧加权方法

在实验中发现，当有视频非常大的整体运动情况发生时，算法的结果并不稳定。因此，给予那些运动较大的帧较小的权值来保证整个算法的稳定性。令mij代表第i帧中第 j个被选中的窗口的运动向量长度，Mi代表第i帧的运动强度，Km是反映运动强度的常数，那么：

然后根据第i帧的运动情况赋予其权值，具体方法由下式给出：

图3 引言中各算法与本文算法的散点比较图

5 实验与分析

实验采用美国德克萨斯大学LIVE实验室的视频测试序列库。序列库中包含了10个典型的自然场景，每个场景用MPEG-2压缩、H.264压缩、模拟IP传输和模拟无线传输4种视频失真方式进行失真处理，生成了15个失真序列，并进行了主观质量测试，给出了每个失真序列的差异主观意见分值DMOS（Difference Mean Opinion Score）。

本实验中，将Km的值设置为16，并采用目前被普遍认可的两个指标来度量算法的性能。一个是算法结果和DMOS之间的秩相关系数SROCC（Spearman Rank Order Correlation Coefficient），用来度量算法结果和人的主观感受之间的单调性；另一个是经过非线性回归处理后的算法结果和DMOS之间的线性相关系数LCC（Linear Correlation Coefficient），用来度量算法的准确性。在进行非线性回归处理时，采用VQEG的报告[8]中提供的方程：

其中Q代表算法结果，Q′代表经过处理后的算法结果。为了获得以上方程中能使算法结果和预测值方差最小的(β1，β2，β3，β4)， 采用 Matlab 中的“nlinfit”函数进行非线性最小二乘法优化。为了便于数据收敛，在进行优化之前用线性重调节的方法对算法的结果进行处理。最后，SROCC和LCC在Q'和DMOS之间计算。图3给出了本文算法和引言中其他算法的散点比较图，同时也画出了每个图中所有散点的最佳拟合曲线。表1给出了本文算法和引言中其他算法的SROCC和LCC值的比较。可以看出，与其他算法相比，本文算法在单调性和准确性上都有明显提高。

表1 引言中各算法与本文算法的SROCC和LCC比较

6 总结

本文在图像结构相似性的基础上，考虑到图像中不同区域有着不同感知重要性，通过对变化率进行分析将图像划分为不同的区域，提出了基于内容划分的图像质量评价算法，并通过运动估计帧加权的方式将其扩展到了视频质量评价中。在今后的工作中，从许多方面可以进一步提升算法的准确性。如果改变区域划分的方式，对图像区域进行更细致的划分，相信算法的效果会更加理想。另外，本文中的权值主要是根据实验结果不断调整得到的，并没有经过专业的优化处理。在充分考虑人类视觉特性的基础上，怎样选取合适的优化算法对各个权值进行训练和优化也是今后努力的方向。

[1]Wang Z，Lu L，Bovik A C.Video quality assessment based on structural distortion measurement[J].Signal Process：Image Communication，2004，19（2）：121-132.

[2]Wang Z，Simoncelli E，Bovik A C，et al.Multiscale structural similarity for imagequality assessment[C]//IEEE Asilomar Conference on Signals，System and Computers，2003.

[3]Chandler D M，Hemami S S.VSNR：a wavelet-based visual signal-to-noise ratio for natural images[J].IEEE Transactions on Image Process，2007，16（19）：2284-2298.

[4]Pinson M H，Wolf S.A new standardized method for objectively measuring video quality[J].IEEE Transactions on Broadcast，2004，50（3）：312-322.

[5]Sheikh H R，Bovik A C.Image information and visual quality[J]. IEEE Transactions on Image Process，2006，15（2）：430-444.

[6]Le Meur O，Ninassi A.Overt visual attention for free-viewing and quality assessment tasks[J].Signal Processing：Image Communication，2010.

[7]Li J L，Chen G，Chi Z R.Image coding quality assessment using fuzzy integrals with a three-component image model[J]. IEEE Transactions on Fuzzy Systems，2004，12（1）：99-106.

[8]Final report from the video quality experts group on the validation of objective quality metrics for video quality assessment[EB/OL].[2011-05-11].http：//www.its.bldrdoc.gov/vqeg/projects/frtv_phaseI.

采用内容划分方法的视频质量评价

姚 杰1，2，谢永强1，谭建明2，李 东1，3，唐 超2，王伏华2

YAO Jie1，2,XIE Yongqiang1,TAN Jianming2,LI Dong1，3,TANG Chao2,WANG Fuhua2

1.China Electronic Equipment System Engineering Company,Beijing 100141,China
2.Military Grid Laboratory,Chongqing Communication Institute,Chongqing 400035,China
3.Institute of Command Automation,PLA University of Science and Technology,Nanjing 210007,China

Current structural similarity based image quality assessment algorithm is generally the overall image quality analysis. However,different regions in image have different structural characteristics and visual perceptions,and the overall quality analysis can not reflect these differences effectively.In this view,a content-partitioned structural similarity image quality assessment algorithm is presented,which partitions an image into four regions according to their different gradient magnitudes and assesses the qualities of these regions respectively.A frame motion estimation weighted approach is used to extend this approach to video quality assessment.The experiments show that the proposed is more accurate than several modern popular algorithms.

image quality assessment;video quality assessment;structural similarity

目前基于结构相似性的图像质量评价算法均是对图像进行整体质量分析，但图像中不同的区域存在着不同的结构特性和视觉感知特性，而对图像进行整体质量分析无法有效反应出这些差异。鉴于此，提出了一种基于内容划分的结构相似性图像质量评价算法，根据图像不同区域的变化率将图像分为4个部分，分别进行质量评价。采用运动估计的帧加权的方式将该方法扩展到视频质量评价中。实验证明了该算法与目前比较流行的几个算法相比具有较高的评价准确性。

图像质量评价；视频质量评价；结构相似性

A

TP391

10.3778/j.issn.1002-8331.1110-0081

YAO Jie,XIE Yongqiang,TAN Jianming,et al.Video quality assessment using content-partitioned approach.Computer Engineering and Applications,2013,49（11）：158-161.

国家创新基金（No.11c26215115768）；重庆市重点攻关基金项目（No.cstc2011ab2064）。

姚杰（1986—），男，硕士研究生，主要研究领域为视频质量评价；谭建明，男，教授；李东，硕士研究生；唐超，硕士研究生；王伏华，硕士研究生。

2011-10-09

2011-11-25

1002-8331（2013）11-0158-04

CNKI出版日期：2012-03-08 http://www.cnki.net/kcms/detail/11.2127.TP.20120308.1520.007.html