基于空域相关性的快速HEVC帧间预测方法

刘梅锋，钟国韵，徐洪珍，吴有用

（东华理工大学 机械与电子工程学院，江西 抚州 344000）

现有视频编码标准（包括动态图像专家组第四版本（MPEG-4）、国际视频编码标准/高级视频编码（H.264/AVC）[1]和音视频编码标准（AVS）等）对于标清（720×576）及其以下规格的视频，有着较好的视频编码性能。但是，对于高清（1 280×720）以上分辨率的视频编码，其性能还远未达到市场应用的需求[2]。目前正在制定的新一代国际视频标准，即高性能视频编码（HEVC）标准[3-5]，其目标是在保持H.264/AVC标准视频质量的基础上，使比特率降低一半，即压缩率提高一倍。经过近两年的发展和研究者的努力，目前在HEVC的初步框架下，其压缩率较H.264已有一定程度的提升，但是其视频编码计算复杂度为H.264/AVC的4~5倍。

相比以前的视频压缩编码标准，HEVC主要是采用3种新编码技术：编码单元（CU）、预测单元（PU）和变换单元（TU）。HEVC采用了4个深度的CU和8种不同的PU预测模式，各种CU深度和PU模式的组合下均要进行率—失真代价计算，因此，HEVC视频编码具有很高的编码计算复杂度。于是，若要实现HEVC的实时应用，则必需降低其编码的计算复杂度。针对H.264/AVC，近些年国内外的研究人员已经提出了一些快速模式判决的方法。文献[6]提出利用先验预测的帧间编码模式来加速当前模式选择。文献[7]根据层间相关性，利用基本层的模式信息来预测提高层的帧间预测模式，从而降低了编码计算复杂度。文献[11]根据时域上相邻帧的预测模式分布模式，提出了自适应的快速帧间预测方法。文献[12-13]通过分析4×4块的运动向量场得到MV的一致性，判决当前的帧间预测模式，从而降低帧间预测的编码计算复杂度。文献[14]利用16×16块与最优的分块预测模式之间率—失真的相似性，跳过其他分块的预测模式。文献[15]利用空域上和时域上相邻块之间的预测模式的相关性，构成了最大可能模式列表，降低了编码的计算复杂度。

对H.264来说，上述方法均获得较好的编码性能，但针对HEVC新提出的新编码方法，必需研究新的方法来降低其编码计算复杂度。本文通过实验及分析认为，时域上相邻帧中对应块平滑时，当前分块的帧间预测的CU尺寸将比较大，并且其PU模式将有很大的概率为PART_2N×2N，于是，当满足该条件时，将能跳过一些不太可能的帧间预测模式，从而降低编码的计算复杂度。

1 HEVC帧间预测模式判决

对于CU中的每个PU，编码器将进行单独的运动搜索，如图1所示，设当前的PU预测模式为PART_nL×2N，该CU分为p和q两个PU，这两个PU将进行独立的运动估计和率—失真代价的计算，两个PU对应的率—失真代价值的和为该模式下总的代价值，对于当前CU，将遍历所有的PU模式，取其中率—失真代价值最小的一种PU模式作为最佳PU预测模式。

HEVC总体帧间模式判决过程如下：

1）对于一个LCU，将通过计算判决所有尺寸的各个CU的最佳PU模式，然后从下往上，将4个8×8尺寸CU总的率—失真代价值与16×16尺寸CU的率—失真代价值相比，取其中较小的模式。

2）计算4个16×16尺寸CU总的率—失真代价值。

3）将4个16×16尺寸CU总的率—失真代价值与32×32尺寸CU的代价值相比，也取其中较小的。

4）计算4个32×32尺寸CU总的率—失真代价值。

5）将4个32×32尺寸CU总的率—失真代价值与64×64尺寸CU的代价值相比，也取其中较小的。最终就形成了该LCU各个CU分割尺寸及其最佳的PU预测模式。

2 基于时域相关性的快速帧间模式判决

假想这样一种情况：当之前一帧中对应位置区域为平坦的或者其中的运动对象有着相同的运动向量时，根据时域上的相关性，则当前CU分块所处区域也应有着类似的特性。考虑到时域上的运动，当前帧中的部分对象可能是从前一帧中对应位置CU分块的周围CU分块中移动过来的，此时，当前CU分块所处的区域中还是平滑的或者其中的对象还是有着相同的运动向量。由于HEVC中定义了4种深度的CU，因此，必须分析对应CU分块与其空域上相邻的CU分块之间的关系。在HEVC中的8中PU模式中，模式PART_2N×2N代表最平滑的PU预测模式。因此，如果对应CU分块及其周围的CU分块的PU模式均为PART_2N×2N，则当前CU分块的PU模式将很有可能为PART_2N×2N，而其他的PU模式可以跳过，从而降低帧间预测的计算复杂度，如图2所示。接着将对上述的假设条件进行测试，并通过对测试结果的分析，构建该条件下快速算法。

为了描述对应CU分块及其周围CU分块所处区域的平滑程度，本文定义了一种区域平滑的条件

式中：Lj为对应块周围CU分块的边长，j取0，1，2，3分别表示对应CU分块的上、左、右和下方的CU分块；Pj分别表示对应CU分块的上、左、右和下方的CU分块的PU模式，下标i表示CU深度，其取值0，1，2或3；条件Suri表示对应CU分块周围的CU分块尺寸比对应CU分块尺寸大，或者前者尺寸相对，但其PU模式为PART_2N×2N。

基于条件Suri，本文定义另一个条件

式中：C1表示当条件Suri和Lcu＜Lco满足时的条件。于是，可以定义3种概率

式中：Ni，s表示条件Suri满足时对应 CU 分块的数量；Ni是总的对应CU分块的数量；下标s表示条件Suri满足；下标i表示CU 深度；Ri，s表示满足条件Suri的概率。

式中：Ni，d表示条件C1满足时对应CU分块的数量；下标d表示条件更深的CU深度；Ri，d表示条件Suri下当前CU尺寸小于对应CU的概率。

式中：Ni，p表示条件C1下当前块中 PU模式为PART_2N×2N的CU分块的数量；Ni，c表示条件C1下当前块中所有CU分块的数量；Ri，e表示条件C1下其PU模式为PART_2N×2N的当前CU分块的概率；下标e表示PU模式为PART_2N×2N的当前CU分块的索引号。

为了更直观地描述现象，本文定义了一个比例系数

式中：Ri表示条件Suri下当前CU尺寸小于对应CU且其PU模式为除PART_2N×2N外的其他模式的概率。

为了分析概率Ri，s，Ri，d，Ri.e和Ri，本文在 HM7.0平台上测试了6种不同分辨率和运动特性的不同CU尺寸，结果如表1~3所示。

表1 64×64的CU分割深度下Ri，s，Ri，d，Ri.e 和Ri的结果 %

表2 32×32的CU分割深度下Ri，s，Ri，d，Ri.e 和Ri的结果 %

表3 16×16的CU分割深度下Ri，s，Ri，d，Ri.e 和Ri的结果 %

从表 1～3 中的结果可以看出，概率R0，s，R1，d和R2，d的范围分别为29.35%～52.78%，28.32%～57.62%和29.35%～71.92%。这说明了在实际视频编码过程中条件Suri占一定的比例，因此，如果能把该条件中冗余的PU模式去除，则能较大地降低编码的计算复杂度。

表1～3显示，R0，d的范围为5.56%～11.96%，R1，d和R2，d的范围分别为12.78%～20.74%和21.19%～29.80%。该结果说明了：对于64×64尺寸的对应CU分块，当条件Suri满足时，当前CU尺寸小于对应CU分块尺寸的概率为5.56%～11.96%，而对于32×32和16×16尺寸的对应CU分块，当条件Suri满足时，当前CU尺寸小于对应CU分块尺寸的概率分别为12.78%～20.74%和21.19%～29.80%。这个现象可以解释如下：条件Sur0表示对应CU分块的周围CU分块尺寸均为64×64且其PU模式均为PART_2N×2N。当条件满足时，对应CU分块及其周围CU分块均有着最大的尺寸及最平滑的PU分割模式，该现象也预示着对应CU分块所处区域是平坦的，或者其中的对象有着相同的运动向量，于是，即使有运动对象从对应CU分块的周围的CU分块中移动到当前CU分块中，当前CU分块中的对象也会有着相同的运动向量。然而，对于Sur1和Sur2，对应CU分块及其周围的CU分块不全是最大的尺寸，这就意味着当前CU分块中将可能出现更多的纹理或者不同的运动向量。

表1～3也显示了R0，e范围为90.35%～96.04%，而R1，e和R2，e的范围分别为67.21%～72.79%和52.45%～58.53%，这说明了当条件C1满足时，64×64尺寸的CU分块要比32×32和16×16尺寸的CU分块更有可能具有PART_2N×2N的PU预测模式。

表1～3还显示了R0范围为0.23%～1.15%，而R1和R2的范围分别为3.66%～6.80%和7.93%～13.80%，这些结果说明了以下现象：当条件Suri满足时，对于64×64尺寸的对应CU分块，当前块中的CU分块尺寸小于对应CU分块尺寸时，当前CU分块的PU模式几乎均为PART_2N×2N。而对于32×32和16×16尺寸的对应CU分块，当前CU分块的PU模式就有一定概率非PART_2N×2N模式。因此，当条件Suri满足时且对应CU分块的尺寸为64×64时，对于当前块，只需检测各层深度CU下的PART_2N×2N的PU模式，其他的PU模式可被跳过以节省编码计算复杂度。但是，当对应CU分块的尺寸为其他尺寸时，则当前块中各层深度CU下的其他PU模式不能被跳过。

基于上述的分析，当对应CU分块尺寸大于当前CU分块尺寸时的快速帧间预测方法可以如图3所示。

图3 当对应CU分块尺寸大于当前CU分块尺寸时的快速帧间预测方法流程图

3 实验结果及分析

为了测试提出的算法的性能，本文将提出算法与HEVC标准帧间预测方法相比，实验平台均为HEVC标准参考软件JM，实验中JM采用的为默认配置。另外，为了阐述并讨论分析最终算法与算法过程步骤之间的对应关系，本文编码性能的比较还基于以下3个性能指标

式中：ΔBitrate是比特率增量；Bitratepro和Bitrateref分别是所提出的快速模式选择算法和HM7.0的比特率；ΔPSNR是峰值信号噪声比的增量；PSNRpro和PSNRref分别是所提出的算法和HM7.0的PSNR；ΔTime是模拟时间增量；Timepro和Timeref分别是所提出的算法和HM7.0的仿真时间。从表4中可以看出，相比HM7.0，本文算法在损失了0.21%~0.69%的压缩率和0~0.05 dB的视频质量的前提下，节省了8.30%~34.14%的编码时间。

表4 本文算法与HM7.0在比特率、视频质量和编码时间方面的比较

4 结论

本文首先分析了前一帧中当前块对应块所处区域的平坦性和区域中对象运动向量的一致性，分析并用实验验证了当前块与前一帧对应块帧间模式的相似性，提出当前块帧间模式的判决方法，从而跳过一些不太可能的模式，降低了编码的计算复杂度。实验结果显示，与HM7.0相比，本文提出的方法在比特率和视频质量损失很小的情况下，节省了8.30%～34.14%的编码时间。

：

[1]WIEGAND T，SULLIVAN G，BJONTEGAARD G，et al.Overview of the H.264/AVC video coding standard[J].IEEE Trans.Circuits Syst.Video Technol.，2003，13（7）：560-576.

[2]LEE K，ALSHINA E，MIN J.Technical considerations for Ad Hoc group on new challenges in video coding standardization[S].2008.

[3]UGUR K，ANDERSSON K，FULDSETH A，et al.High performance，low complexity video coding and the emerging HEVC standard[J].IEEE Trans.Circuits Syst.Video Technol.，2010，20（12）：1688-1697.

[4]刘梅锋，陆玲.新一代视频编码标准HEVC变换方法的研究[J].电视技术，2012，36（1）：1-5.

[5]李元，何小海，钟国韵，等.基于时域相关性的HEVC快速帧内预测算法[J].电视技术，2012，36（9）：1-4.

[6]干宗良，齐丽娜，朱秀昌.H.264中基于先验预测的帧间编码模式选择算法研究[J].电子与信息学报，2006，28（10）：1883-1887.

[7]LI H，LI Z，WEN C.Fast mode decision algorithm for inter-frame coding in fully scalable video coding[J].IEEE Trans.Circuits Syst.，Video Technol.，2006，16（7）：889-895.

[8]KIM S，HO Y.Fast mode decision algorithm for H.264 using statis⁃tics of rate-distortion cost[J].Electron.Lett.，2008，44（14）：849-850.

[9]LIU Z，SHEN L，ZHANG Z.An efficient intermode decision algo⁃rithm based on motion homogeneity for H.264/AVC[J].IEEE Trans.Circuits Syst.Video Technol.，2009，19（1）：128-132.

[10]SHEN L，LIU Z，ZHANG Z，et al.Fast inter mode decision using spatial property of motion field[J].IEEE Trans.Multimedia，2008，10（6）：1208-1214.

[11]KNESEBECK M，NASIOPOILOS P.An efficient early-termina⁃tion mode decision algorithm for H.264[J].IEEE Trans.Consum.Electron.，2009，55（3）：1501-1510.

[12]ZHAO T，WANG H，KWONG S，et al.Fast mode decision based on mode adaptation[J].IEEE Trans.Circuits Syst.Video Tech⁃nol.，2010，20（5）：697-705.