基于屏幕内容的快速模式选择算法

张莹

摘要：屏幕内容编码是视频编码应用的重要内容，高效视频编码（HEVC）中屏幕图像内容编码的扩展方法主要有调色板模式和IntraBC（Intra Block Copy）模式，它们依据屏幕图像内容的特点提升了码率，然而，也增加了编码的复杂度和编码时间。因此，提出一种针对于屏幕图像内容的快速模式选择算法，该方法基于屏幕图像内容的像素平滑性，对于量化后颜色数量少的CU块不进行分割；并选择最佳的三个预测模式与IntraBC模式作比较，决定是否进行率失真优化过程。实验结果显示，与标准的HEVC扩展方法相比，该方法在仅增加0.4%比特率的情况下，节省了35%的编码时间。

关键词关键词：屏幕内容编码（SCC）；高效视频编码（HEVC）；模式选择；颜色量化；编码比特

DOIDOI：10.11907/rjdk.161252

中图分类号：TP312文献标识码：A文章编号文章编号：16727800（2016）007004803

0引言

HEVC（High Efficiency Video Coding）是继H.264标准后新一代高效视频编码标准，其设计目标是提供实时、低延迟、高质量的视频编码标准。与H.264标准相比，HEVC能够在主观质量不变的情况下降低50%的比特率。为了满足更加广泛的应用需求，如无线显示、云计算、汽车娱乐系统等。许多扩展方法已经加入到HEVC中，屏幕图像内容编码方案就是其中重要的一部分。

提高屏幕内容视频编码效率的工具中，调色板模式（Palette mode）和IntraBC（Intra Block Copy）模式是其中的两个主要模式。调色板模式是一个基于颜色的预测方法，适用于颜色数目少的视频序列编码。IntraBC模式是一种类似于运动补偿的方法，通过在当前预测帧内找到与当前编码单元（Coding Unit）匹配的已重建过的CU，并通过位移矢量（也叫做块矢量）来表示。在典型的文字及图形内容为主的图像中，有许多重复部分，因此IntraBC模式是屏幕图像内容编码中的一种非常有效的模式。然而，HEVC扩展方法在显著提高编码压缩效率的同时，也导致了编码复杂度和编码时间的增加。

针对HEVC相比于上一代视频编码标准复杂度高的情况，学者提出了许多快速算法，尝试减少帧内预测过程编码时间。Liu等提出了一种快速帧内模式选择算法，通过文本方向分析从而减少预测单元中的多种候选模式。Zhang等提出了一种基于编码模式代价值来结束当前编码单元模式选择和TU大小选择的方法。Zhang提出了一种基于Sobel算子边缘检测技术的快速帧内模式选择算法。这些方法对于自然图像编码的编码时间减少起到很大作用，但目前对于屏幕内容图像编码时间减少的研究，仍没得到广泛关注。

本文提出一种针对屏幕内容图像特点而设计的基于预测单元纹理平滑和编码比特的快速模式选择算法。

1快速模式选择算法

本文提出两种方法以保持视频编码质量损失可接受的情况下取得稳定的效果来降低复杂度。首先，提出一种基于量化后颜色数目和预测单元纹理平滑的规则来决定当前CU的分割模式。其次，利用各模式率失真代价（RDCost）间的关系决定是否跳过率失真优化过程（RDO）继续帧内预测过程。算法流程图如图1所示。 1.1基于像素量化后颜色数目的分割模式选择算法

对于屏幕内容图像序列，大部分区域是平滑且像素值大多相等，如图2所示。因此，选择当前CU的预测模式作为此CU最优预测模式，而不需要考虑下一层CU的预测模式，进而跳过相应分割过程。

对于除了8×8 大小的每个CU（8×8大小的CU在CU级别不能继续分割），通过在下一层分割前进行当前CU像素值的量化来计算颜色数。基于这种量化，在当前预测块颜色数Numbercolor< TH1的情况下，跳过分割过程，TH1设为2。其中Numbercolor通过如公式（1）计算，遍历当前CU中每个像素，若满足公式（1），则Numbercolor的值加1。

其中，Pi是当前像素值，Tj是经过量化得到的颜色列表中的值。N×N是当前CU大小，n是目前为止颜色列表中的数目。通过实验，TH2设为5。

1.2基于率失真代价的模式选择算法

IntraBC模式对于文本和图形区域内容重复率高的编码块是高效的。因此，一个CU以IntraBC模式作为预测模式的可能性非常大。如图3所示，在任意选取的6个SCC视频序列中，平均超过74%的CU是IntraBC模式预测的。事实上，在屏幕内容视频帧中，IntraBC模式是被用为预测最频繁的模式。同时，方向预测的时间比IntraBC模式的预测时间要长，率失真优化（RDO）相比于粗粒度模式选择（RMD）过程的时间同样如此。因此，若能跳过方向预测过程或率失真优化（RDO）过程，帧内预测复杂度将有效下降。

基于以上分析，本文提出的算法将IntraBC模式预测过程放在帧内预测的第一位。如果能够判断IntraBC模式的编码表现强于方向预测编码表现，则跳过方向预测过程以节省编码复杂度，继而能够减少编码时间。但如何在方向预测过程开始前判断出IntraBC模式的编码性能更优是能否跳过方向预测的关键。

本算法中采用IntraBC模式预测后的MAE（Mean Absolute Error，平均绝对误差）值来决定是否跳过方向预测的过程。标记值flagskip定义如下：

其中，MAEintraBC是IntraBC模式预测的MAE值，flagskip标志当值为true时，跳过方向预测；反之，正常进行方向预测。TH3是MAEintraBC的阈值。MAE通过公式（3）表示：

其中，SADintraBC是IntraBC模式预测的SAD值，width值是当前PU（Prediction Unit，预测单元）的宽度值，height值是当前PU的高度值。阈值TH3定义如下：

经RMD过程后，N个列表中的候选模式以哈德玛变换代价值（SATD，sum of the absolute transform coefficient differences）为标准按照升序排列[7]，这些候选模式需要经过完整的率失真优化过程来选取最佳预测模式。最优预测模式通过计算候选列表中各模式的率失真代价，最小率失真代价模式为最优模式，率失真代价按公式（5）计算：

其中，D和R代表失真和图像表示需要的比特数，是拉格朗日乘数。候选模式列表中的前3个候选模式成为最佳模式的比例累积总和是90%[8]。这意味着大部分最佳预测模式是从排序前三位的候选模式中选择的。

本文提出如下规则：若当前CU率失真代价少于TH3，表示IntraBC模式编码效果更佳。因此在帧内预测过程中跳过方向预测模式和调色板预测模式。否则，若当前CU率失真代价大于或等于TH3，继续进入原帧内预测过程并保存IntraBC模式率失真代价值。经粗粒度模式选择过程后，得到N个候选模式（N的值随着CU大小变化），其后选择具有N个候选模式列表中的前3个模式作为比较模式，记做mode0，mode1，mode2。分别将此三种模式的率失真代价与IntraBC模式的率失真代价相比。若Min（Intra_Costmodei） > Intra_CostintraBC（i=0，1，2），则跳过率失真优化过程并选择IntraBC模式作为帧内最优预测模式。

2实验结果与分析

为了评估算法性能，实验在HEVC参考软件HM-14.0+RExt-7.2+SCM-1.1上实现。实验平台硬件配置为Intel Core i3-2120K CPU @ 3.30 GHz。每个屏幕内容视频序列采用50帧进行编码以验证算法有效性。实验所使用的视频序列列表如表1所示。测试条件设置为全帧内编码[9]，QP（Quantization parameter，量化参数）值设为22，27，32，37。将本文算法实验结果与HEVC相比，以便于描述算法的更优性能。实验结果如实验结果表明，编码时间平均减少了35%，BD rate（比特率）平均增加0.4%，PSNR平均减少0.02。说明本算法的编码性能与HEVC算法相比，没有明显下降，且编码复杂度大幅下降。

本文提出一种基于屏幕内容视频量化后颜色数目和IntraBC模式编码有效性的快速模式选择算法。一方面，对屏幕内容视频参考帧中每个CU中的像素值进行量化，观察视频纹理的平滑性以决定是否进行下一层分割；另一方面，计算IntraBC模式的率失真代价，与帧内方向预测模式率失真代价相比，选择性跳过帧内预测过程或帧内预测中率失真优化过程。本算法在BD rate仅增加0.4%的情况下，编码时间显著节省了35%。基于量化后颜色数目和IntraBC模式编码有效性的快速模式选择算法是一个值得继续研究的方向。

参考文献：

SULLIVANG，OHMJ，HAN W， et al. Overview of the high efficiency video coding （HEVC） standard[J]. IEEE Trans. Circuits Syst，2012， 22（12）：16491668.

WIEGAND T，SULLIVAN G，J BJNTEGAARD， et al . Overview of the H.264/AVC video coding standard[J]. Circuits Syst. Video Technol， 2003，13（7）：560576.

D FLYNN， J SOLE， T SUZUKI. Range extensions draft 4.JCTVCN1005， 2013.

YINBO LIU， XINGANG LIU， BINFEI SHAO. Fast intra mode decision algorithm for HEVC based on texture direction.Computational Science and Engineering （CSE）， 2014.

HAO ZHANG ， ZHAN MA. Early termination schemes for fast intra mode decision in high efficiency video coding.Circuits and Systems （ISCAS）， 2013.

QIUWEN ZHANG，XINPENG HUANG，XIAO WANG.A fast intra mode decision algorithm for HEVC using sobel operator in edge detection based on texture direction[J].International Journal of Multimedia and Ubiquitous Engineering，2015，10（9）：8190.