视频显示流压缩的技术与标准

朱秀昌 唐贵进

(南京邮电大学江苏省图像处理与图像通信重点实验室， 南京, 210003)

视频显示流压缩的技术与标准

朱秀昌 唐贵进

(南京邮电大学江苏省图像处理与图像通信重点实验室， 南京, 210003)

随着计算机、电视机和手机等显示设备分辨率的迅速增加，采用显示流压缩(Display stream compression,DSC)技术解决显示链路带宽不足已成业界的共识。近年来陆续出现了JEPG-XS，H.264/AVC和Dirac(VC-2)的纯帧内编码、HEVC-SCC屏幕内容编码和VESA的DSC等显示链路压缩技术。其中最为典型的是视频电子标准协会(Video electronics standands association, VESA)的 DSC标准，这是一个被广泛接受的用于显示链路的低成本、短延时和视觉无损的轻量级编解码标准。DSC的高效编码技术包括先进的预测、历史彩色索引、简捷的熵编码以及良好的速率控制等。本文综述了DSC标准的新特性和主要技术概况。

视频压缩；显示流压缩；显示链路；预测编码；视觉无损编码

引 言

图1 物理带宽和分辨率的差距Fig.1 Gap between bandwidth and resolution

近年来移动通信、云媒体、网络视频和虚拟现实等应用的快速发展引发了对网络、链路上传输各种屏幕内容的新需求，要求在设备之间以视频方式方便、低时延地传输屏幕内容。屏幕内容传送的需求也出现在设备的内部，尤其是便携式嵌入设备内的主机和显示器之间，例如，手机的处理器和显示器之间，移动虚拟现实(Virtual reality)主机和显示屏之间等场合[1]。在显示数据方面，随着视频显示分辨率的迅速提高，4K甚至8K分辨率的屏幕逐渐成为市场主流，使得原来在低分辨率时不成问题的显示链路传输等成熟技术遇到了挑战，即显示链路的带宽不能满足高分辨率显示器的带宽要求。从图1可以直观地看出，用于传输显示信息的物理显示链路的带宽大致线性地逐年增长20%，而显示器的分辨率差不多呈平方增长，两者之间出现了相当大的差距。解决显示链路带宽问题时，既然物理带宽的增速赶不上显示链路带宽增速的要求，那么很自然就会想到压缩链路上视频信号的带宽，近年来学者和工业界正是本着这一思路不断地对链路视频压缩进行研究和开发。研究中最先采用的是常规的视频编码方法，但是对自然图像编码有效的方法并不完全适合这类屏幕内容视频的压缩。于是大家又将目光转向寻找适合屏幕内容压缩的编码工具，制定这一应用领域的国际标准。其中成效显著的当数视频电子标准协会(Video electronics standards association, VESA)2014年完成的显示流压缩(Display stream compression,DSC)标准，它给出了针对屏幕内容的低成本、低时延和质量无损的显示链路压缩规范和一系列关键技术。

1 显示链路

1.1 显示器的显示链路

图2 显示链路中的DSC编码器Fig.2 DSC encoder in display link

现在的LED类显示器一般是由密集排列的电光转换单元(像素)组成的矩形平面，包含若干行、若干列。每个像素可以显示不同的彩色，控制各个像素的彩色，就可形成一幅平面图像。以计算机为例，显示器屏幕图像形成的信号来自计算机的显示缓存区。缓存区的每个单元存储一个像素的彩色值，和显示器像素的几何位置一一对应。显示器连续不断地从缓存区读取数据供显示屏幕显示，计算机可以随时更新缓冲区的数据，使得屏幕内容也随之变化。从主机的显示缓存到显示器驱动电路之间的电路就是显示链路。一般显示链路上传送的是原始视频，数据量很大，以传输60帧/s,4∶4∶4的1 920×1 080 p的8比特RGB高清视频信号为例，所需传输带宽约为3 Gb/s。如果显示器就在计算机旁边，甚至和计算机是一体化的，如图2(a)所示，可以通过线排直接连接到显示器，此时的显示链路就是导线，链路上传输的就是未压缩的视频数据。但是如果显示器远离计算机，如在无线显示、远端屏幕共享等场合，则屏幕内容数据的传输就绝非易事。再如在手机等嵌入式显示设备，虽然显示器和显示缓存装配在一起，但是由于布线的空间及电磁干扰等因素的限制，不允许太多的布线和线路上太高的频率。在这两种情况下，就可以采用DSC编解码技术，如图2(b)所示，对即将在显示链路上传输的视频信号进行压缩，减少显示链路的线数和降低线上信号的速率，使得分离的显示链路或嵌入式的显示链路上可以传输高清或超高清视频信号。

1.2 显示流压缩的技术挑战

显示链路传送的是屏幕内容视频，而屏幕内容常常由计算机产生的图形、文档和摄像机捕获的图像、视频等混合而成，因此各部分信号具有不同的特点，例如文字、图形等部分和自然图像比较往往具有陡峭的边缘、饱和的色彩和强烈的对比。因此对屏幕内容编码时，会要求对不同的内容采用不同的压缩方法，具有内容自适应编码能力。此外对不同类型内容的失真，人眼视觉的敏感度也有所不同，往往对文档、图形等失真的灵敏度更高，所以对所有的屏幕内容，或至少是图文内容部分，要求视觉无损或数学无损的编码质量。这些都给屏幕内容视频编码技术提出了技术挑战。面对这些挑战，从实际应用的需求出发，DSC显示链路视频编解码的总体要求是实现一个轻量级的编解码器，具有高效的软件算法和简洁的硬件结构，体现了低成本、短时延、小存储、低功耗和压缩无损等鲜明的特点。为了达到这个目标，主要的技术瓶颈在于：(1)对应于内容的编码模式；(2)易于硬件实现的高效预测编码算法；(3)速率控制算法；(4)编码质量的度量。

2 VESA的显示流压缩

2.1 DSC的标准化

工业界认识到在显示链路上压缩视频数据的必要性，由世界百余家知名企业组建的VESA于2012年底成立了DSC任务组，目的是为信源和显示设备制造商制定一个统一的可以直接用于显示链路视频压缩的标准。任务组在2013年1月发布了DSC的提案征集(Call for proposals, CfP)，要求所提方案成本低、时延低、互操作性强且图像质量高。此后任务组评估了收到的6份不同提案后，选择了其中能够满足征集条件的一个方案。2014年4月发布了用于显示链路上屏幕内容视频的DSC 1.0标准[2]，很短的时间后，2014年7月发布了更新的1.1版本，修复一个引起缓存溢出的bug。后再经改进于2016年1月推出了DSC的修订1.2版本[3]，并包含在DP1.4高清视频接口中。 DSC的核心思想是为所有类型的屏幕内容视频提供一类轻量级、视觉无损的实时压缩编码算法。DSC编解码器支持RGB和YCbCr分量视频格式、4∶4∶4/4∶2∶2/4∶2∶0取样结构以及8/10/12/14/16比特像素精度的视频，以光栅扫描顺序进行实时处理，以固定速率输出无损压缩的视频数据[4]。

2.2 DSC的编码系统

DSC将每一帧图像分为若干相同的、互不重叠的矩形条作为独立的编码单位。编码按行扫描方式进行，以相邻3个像素的3×1像素组为处理单位，基本编码算法是差分脉冲编码调制(Differential pulse code modulation, DPCM)。DSC编码系统如图3所示。

图3 DSC编码器框图Fig.3 Block diagram of DSC encoder

彩色空间转换单元将输入的RGB视频源转换为YCoCg格式[5]。转换后的像素经一个小容量像素缓存后进入实质性的编码单元，进行预测、量化和重建等处理。其中对亮度和色度信号可在预测模式和彩色历史索引(Index color history, ICH)模式中选择，在预测模式中又可在3种预测方法中选择。对预测残差采用简单的2的整数幂量化和重建像素。此后对量化后残差信号或ICH的索引值进行熵编码。熵编码在3×1像素组上操作，每个分量产生一个熵编码的子码流。这些子码流经打包、子流多路复用(Sub-stream multiplexing, SSM)后通过速率缓存输出。在编码的同时，平坦度检测单元判决当前输入像素内容是否为平坦区域，给出平坦程度指示和量化参数(Quantization parameters, QP)调节参考。速率控制单元管理速率缓存的充盈度，调节QP，以保证编码器以固定的码率输出。

3 DSC的编码工具

3.1 彩色转换

为了降低彩色分量之间的相关性，DSC将RGB或YCbCr输入视频信号转换为YCoCg格式的信号，Y为亮度分量，Co和Cg为两个色度分量。DSC分别对样点的亮度和色度分量进行编码，允许色度信号比亮度信号多1个比特。RGB和YCoCg格式之间为可逆线性变换，变换矩阵元素由简单的二进制数0,±1/2,±1/4和±1组成，硬件实现很容易。

3.2 预测

图4 预测模式决策图Fig.4 Decision diagram of prediction model

类似于许多编码方法，DSC使用帧内DPCM的方法来预测当前像素，对预测残差值进行简单的量化、熵编码。DSC支持3种预测模式，即改进的中值自适应预测(Modified median adaptive prediction, MMAP)、块预测(Block prediction, BP)和中点预测(Mid-point prediction, MPP)。模式选择过程如图4所示，利用前一行的重建样值和残差尺寸(比特数)通过特定的算法来决定采用BP，MMAP或MPP预测模式。

3．2．1 改进的自适应中值预测

普通的中值自适应预测(Median adaptive prediction,MAP)算法[6]如图5中虚线所示，通过3个邻近的已重建像素的中值来预测当前的像素p0，如式(1)所示，其中Median(·)为取中值函数,则

p0= Median (a,b,a+b-c)

(1)

图5 MMAP的像素位置Fig.5 Pixel positions in MMAP

DSC对MAP进行改进，成为改进的中值自适应预测(ModifiedMAP,MMAP)。仍参考图5，其中前一行的g,c,…,f和当前行的x,a为重建像素;p0,p1,p2为当前行待预测的像素。在MMAP预测时，不是简单地利用上一行的重建值本身，而是加权混合来自上一行的参考样点值和该样点经滤波后的差值用于预测。以b为例，先对b进行水平方向[1,2,1]/4低通FIR滤波,则

(2)

式中″>>2″ 表示二进制右移2位。然后，在滤波前后的差值、当前量化水平值-qd/2和+qd/2之间选择中值和原来的重建值进行混合，成为预测参考值，即有

= b + Median (b-b,(-qd/2),(qd/2))

(3)

由式(3)可见，混合比例由当前量化水平控制，在高量化区域，混合侧重于低通滤波后的像素值。这一改进有助于平滑那些由MAP产生的量化缺陷。编码器由于预测结构的限制，一般只能每时钟周期预测1个像素。一般解码器的时钟频率都低于编码器时钟，为了增加解码器的吞吐量，解码器要同时解码3个编码的像素。设和p0，p1和p2对应的反量化后的残差为R0，R1和R2，它们可作为解码3个相继样值p0，p1和p2的参考，则

(4)

(5)

(6)

3．2．2 块预测BP

图6 BP的像素位置Fig.6 Pixel positions in BP

在屏幕内容较为平坦的区域，像素纹理往往会重复出现，DSC对此采用BP方式处理，其原理和一般视频的块运动估计类似。如图6所示，当前行的连续3个像素(p0，p1，p2)为一待预测块，所使用的预测像素就是当前像素块左边某一位移位置上的前一行的重建像素。此位移即为BP矢量，用于3×1像素块的3个像素，其范围是[-3,-10]。BP矢量的选择和预测模式的判决都是基于当前块和重建块对应像素之间的绝对误差和(Sum of absolute differences,SAD)最小原则，在先前行已重建的样点中搜索完成的。为了决定BP矢量，在编码器和解码器中都在先前行的重建像素中完成同样的搜索，BP矢量信息不需要编码到比特流中。-1矢量的SAD用于编码器和解码器中的BP和MMAP模式的判决。对于那些不重复的内容，-1矢量块的SAD通常在-1，-3，…，-10矢量块中最小，因此如果-1矢量块的SAD不是最小的SAD块，则选用BP模式，否则选用MMAP模式。

3．2．3 中点预测

对于某些视频内容，普通的预测编码有可能产生的残差大于原像素值。例如对8比特图像的某个分量，待预测像素值为0，参考样点值为255，则预测残差为-255，反而需要9比特表示。对于这类情况，DSC采用MPP方法，选择接近分量值范围中点值的样点作为当前分量组的3个像素的预测样点，用于限制预测残差的比特数。MPP模式选用信息需在比特流中发送。

3.3 彩色历史索引

对有些采用上述预测模式编码效率不高的内容，DSC还可以采用ICH的编码模式，利用最近使用过的像素值来对当前像素进行编码。ICH在编码器和解码器中都含一个32单元的移位寄存器，保存的是最近使用过的32个像素，每个像素包含3个分量值。32个单元中，最近使用的像素值在寄存器的顶部，依次排列，最远使用的在底部。当以ICH模式编码一组像素时，为待编码的一组3个像素的每个像素都选择一个索引值，指向ICH寄存器中最相似像素的位置。ICH用5比特表示索引值，并发送给解码器，32个单元的任一个都可被用作参考。编码器为每一组的每个像素选择一个候选ICH索引，而后决定这一组像素编码为ICH模式或预测模式，判断准则依然是预测值和相应的原始像素值的加权SAD值。

3.4 量化和重建

亮度和色度的量化水平可以从码率控制单元给出的QP值导出。QP在编码器和解码器中用相同的算法确定，不需要编码到比特流中。亮度和色度可以采用不一样的量化水平，且亮度的量化水平通常低于色度。DSC使用截断2次幂的量化方式，在软硬件中仅用二进制加法和位移就可方便地实现，并保证量化结果不落在样值有效范围之外。原像素值和预测值的残差为r，ql是量化水平，先计算一个偏移量offset，再计算量化后的残差rq，则

(7)

式中

(8)

类似地，反量化和重建也比较简单，利用分量值上限lmax和预测值lp，可以得到重建值为

lr= Median (lp+ (qr<

(9)

3.5 平坦度检测和速率控制

(1) 平坦度检测。平坦度检测单元通过简单的像素处理来判定当前图像内容的平坦度，从而标志从非平坦区到平坦区的过渡，以减少量化失真。平坦度检测还承担着部分速率控制的任务，为速率控制部分的QP值调整提供决策依据。为了在编码前完成对像素组的平坦度检测，输入像素需经过一个小容量的缓存，目的是产生一个对编码操作的短暂超前。当一个进入组是平坦的，速率控制就会减小QP值以最佳化平坦区域的主观质量，并在比特流中发出这个平坦度状态指示。

(2) 速率控制 。DSC通过调节QP值进行速率控制，管理速率缓存的充盈度，保证速率缓存既不上溢，也不下溢，将熵编码产生的每组可变的比特数变为固定的比特数发送到显示链路上。DSC通过调节量化水平来优化主观图像质量，在复杂区域用较大的QP值，在平坦区域使用较小的QP值编码。速率控制中，DSC采用简单的2的整数幂量化方法，可随内容自适应地为每个像素组更新QP。QP值可简单地由缓存充盈度和内容活动性程度导出，以避免复杂的率失真(Rate-distortion,RD)运算。编码器和解码器的速率控制单元使用同样的速率缓存模型和速率控制操作，只是编码器的速率控制模块多一个平坦度检测输入。这一措施使得DSC避免花费比特去编码QP的变化，保证速率控制在QP频繁变化时并不影响编码效率。

3.6 熵编码

表1 残差表示的示例

DSC对预测残差使用一种独特的单位增量可变长度编码(Delta size unit variable length coding, DSU-VLC)的熵编码技术，在保持高效、高吞吐率的同时尽可能地简化硬件实现。DSU-VLC技术将单个分量的3个样值编码成1个单元，每个单元包括前缀和后缀两部分。前缀用一元码表示，即若干个连″0″比特后面跟一个″1″比特，内容是模式选择和预测模式的残差尺寸。后缀包括残差数据或ICH索引数据。如果选用预测模式，量化的残差数据被表示为二进制补码的形式，如表1所示。每个量化后残差样值都对应一个二进制补码和这个补码的尺寸，也就是编码这个残差所需要的比特数。设量化后残差为R0，R1和R2，定义从残差值到所需的残差尺寸的映射为函数S(·)。为每个残差使用相同的比特数。R0，R1和R2被一起编码到一个单元，它必须是大于或等于这个单元所需的残差尺寸，它等于Max(S(R0)，S(R1)，S(R2) )。标注当前单元中相同分量的前一单元的残差为PR0，PR1和PR2，则相同类型分量的前一单元所需的残差尺寸可用来预测当前残差的尺寸

Scr=(S(PR0)+S(PR1)+2·S(PR2)+2)>>2

(9)

如果选用ICH模式，用一个特殊的逸出码(Escapecode)前缀标注ICH模式的使用，在子流中传送的是表示1个像素值的1个5比特的ICH索引，而不是DSU-VLC码字。

3.7 子流复用

为了保证解码器能够在每时钟周期内解码3个样值(9个分量)，在编码端采用了子流复用(Sub-streammultiplexing,SSM)技术[7]。这里所谓的子流就是每个分量形成的压缩数据流。如图7所示，SSM将3个子流一起复用到数据包中，每个包的尺寸是固定的48或64比特，这取决于分量的比特深度，并且没有打包的头信息，所以使用SSM没有降低编码效率。包是按照最佳顺序来排列的，也就是解码器处理数据的顺序。为完成复用操作，编码器要有适当的缓存，这里使用了3个小漏斗移位器，每1个漏斗对应1个流，复用后的数据经速率缓存后以固定速率输出。

图7 子流复用示意图Fig.7 Diagram of sub-stream multiplexing

3.8DSC的编码性能

图8 DSC和HEVC-SCC编码性能示例Fig.8 A example of encoding performance of DSC and HEVC-SCC

评判编码性能的好坏，主要就是评价解码重建图像的质量高低。虽然最具权威的图像质量评价是主观质量评价方法，但这种主观评价方法实施比较麻烦，因而在研究和开发中，最经常使用的仍然是客观评价方法。例如最常用的R-D指标，″D″表示失真，用峰值信噪比(Peaksignaltonoiseratio,PSNR)度量，″R″表示码率，即比特/s度量。尽管存在PSNR很高、但主观图像质量并不好的情况，但毕竟不常见。大部分的情况下，PSNR值和主观评价的结果还比较一致，尤其是高分辨率图像更是如此[8]。选择一系列内容复杂的8比特精度、4∶2∶2彩色格式的屏幕视频对2016年发布的DSC1.2编码系统进行测试，在最低每像素7比特时，可获得视觉无损的压缩质量。对于4∶2∶0格式则可低至6比特/像素，充分表明了DSC算法的优越性能。图8给出了DSC和高效视频编码的屏幕内容编码(Highefficiencyvideocoding-screencontentscoding,HEVC-SCC)的R-D曲线一例，视频序列为″MC″，1080p，60帧/s，测试的是Y分量。在无损编码的情况下，HEVC-SCC的压缩率差不多是DSC的1倍，在近似无损的情况下，HEVC-SCC的压缩率比DSC更高。VESA DSC技术的优势在于实现，由于较少的连接线和较小的帧缓存，降低了系统成本和功率消耗，减少了电磁干扰，增强了元件的互操作性。DSC可以在现存的带有较高分辨率显示的物理层实现缩减传输带宽3倍以上，便于电子制造商开发各类高效的超高清(Ultra high definition, UHD)显示链路传输产品。

4 DSC相关技术和标准

DSC技术和屏幕内容紧密相关，对屏幕内容数据压缩的研究工作最具代表性的成果是1999年ITU-T推出的“混合扫描内容”(Mixed raster content, MRC)标准T.44[9]和ISO/IEC的JPEG-LS标准。这一时期的研究大多采用静止图像编码或传统视频编码的方法来处理屏幕内容的压缩，往往得不到理想的效果。目前，和DSC相关的标准和技术已有不少，例如在静止图像编码方面从早先的JPEG-LS到现在的JPEG-XS[10]，在视频编码方面从H.264/AVC的纯帧内编码(Intra-only)，到HEVC-SCC，Diract/VC-2等，它们共同的目标就是实现屏幕视频的视觉无损编码。

4.1 JPEG-LS

联合静止图像专家组的无损压缩标准(Joint photograhic experts group-lossless standards, JPEG-LS)[11]是ISO/IEC在JPEG之后制定的一种静止图像无损压缩标准，包括核心部分和扩展部分，分别发布于1999年和2003年。它的主要特点是复杂度低、无损压缩倍数在2～5之间、重建图像质量好、适合于高分辨率图像的压缩且易于硬件实现。JPEG-LS的核心算法是一种低复杂度图像无损压缩方法，主要包括游程编码和基于预测的熵编码。编码过程中原始图像的像素点依次输入编码器，JPEG-LS利用前面已经出现过的当前像素的近邻像素作为上下文，编码器根据上下文计算当前编码像素点的局部梯度，并以此来选择编码模式。如果局部梯度显示当前像素处于平坦区域，进入游程编码模式，否则进入常规预测编码模式。JPEG-LS是和DSC比较类似的技术，但缺少对速率控制，吞吐量有限，因此其应用受到很大的限制。

4.2 H.264/AVC的iAVC

iAVC[12]是H.264/AVC的纯帧内(Intra-only)编码模式，它对每一帧按帧内模式独立编码，在一帧内又按条进行独立编码，编码的基本方法为分块预测。iAVC对大多数自然内容能够提供比DSC更低码率的视觉无损编码，但是对于某些包含图形、文字等的屏幕内容，它的效率并不高。在实现方面，iAVC比DSC复杂得多。再者，iAVC的吞吐量受限于熵编码和解码，不容易实现固定速率的输出。

4.3 HEVC-SCC

ITU-T和ISO/IEC的JCT-VC于2016年12月正式发布了包含SCC工具的HEVC(v4)国际标准，即HEVC-SCC[13]。HEVC-SCC作为HEVC的扩展，共享了HEVC编码结构[14]，以CTU为基本编码单位。HEVC-SCC总共包含了8项屏幕编码工具，包括HEVC(v1)的变换跳过(Transform skip, TS)1项，HEVC-RExt(v2)增加的残差旋转(Residual rotation, RR)、差分脉冲编码调制(Differential pulse code modulation, DPCM)/残差差分脉冲编码调制(Residual DPCM, RDPCM)和交叉分量预测(Cross component prediction, CCP)3项。HEVC-SCC在继承前面4项编码工具的基础上新引入了4项性能优良的SCC工具，可以做到对屏幕内容的视觉无损或数学无损压缩。它们是：(1)帧内块拷贝(Intra block copy，IBC)的新帧内预测方式；(2)采用整像素运动补偿的自适应运动矢量精度(Adaptive motion vector resolution,AMVR)方式；(3)减少彩色分量之间的相关性自适应彩色转换(Adaptive color transform, ACT)；(4)对只含很少彩色值内容的调色板模式(Palette Mode)。和DSC相比较，HEVC-SCC的编码效率比较高，但复杂度大大高于DSC，对于实时、嵌入式、低成本和低功耗等应用场合并不合适。

4.4 其他

除了JPEG-LS，JPEG-XS，iAVC和HEVC-SCC以外，可以用于屏幕图像无损编码的还有JPEG 2000，Dirac(VC-2)[15]和PNG等。JPEG2000尽管在较低比特率时对自然内容压缩的效果较好，但是对于显示流压缩之类应用的性能不如DSC好，而且硬件实现的代价也非常高。电影与电视工程师协会(Society of motion picture and television engineers, SMPTE)的Dirac的Intra-only版，主要的应用目标为超高清电视(Ultra high definition television, UHDTV),但不管它使用哪种小波，对于某些类型的内容时常会出现失真，而且吞吐量也受限于熵编码。H.264/AVC和H.265/HEVC的Intra-only模式等也有类似的问题，除了显著高的成本外，其性能并不如意。经过多方的分析和比较，在上述的这些标准中，DSC的视频链路压缩技术具有明显优势。

5 应用与展望

5.1 DSC的开发和应用

DSC标准的制定和发布鼓励了工业界在显示链路编码的系统实现和开发应用方面进行了更多的投入。目前，DSC的应用场合主要集中在嵌入式产品、移动产品[16]和桌面产品中的显示部分。例如：移动和桌面设备的显示连接，AR/VR头盔中多路实时采集视频的显示，汽车内高清视频源和摄像机采集视频的多路传送，USB Type-C DP1.4视频接口，专用的UHD视频的传送，处理8K视频的多媒体片上系统SoC中集成的DSC1.2模块等。由于DSC的开放和硬件友好设计，目前在市场上已经有一些DSC的硬件解决方案[17]，例如Hardent公司的双DSC系统原型[18]，等。2017年1月高清多媒体接口(High definition multimedia interface, HDMI)组织宣布在HDMI 2.1视频接口中采用DSC 1.2，对高达10K的视频进行压缩。

5.2 DSC技术和标准的发展

在DSC编码工具方面，多种高性能的编码方法正在研究之中，主要集中在图像的区域划分、编码速率的准确控制以及编码效率的提高等方面。如更加灵活的帧内串拷贝(Intra string copy, ISC)[19]技术，允许水平或垂直扫描顺序的可变长度的连续像素作为基本的拷贝串单元。2015年1月，VESA发布了一个技术征集(Call for technology, CfT)[20]，目标是标准化一种更为复杂的显示链路的视频编解码器，称之为先进的显示流压缩(Advanced DSC, ADSC)。ADSC的目标是在比DSC更低的码率上实现视觉无损压缩。和DSC不同，ADSC希望在不同复杂度和编码效率之间取得折衷，因此传输指标既可以使用ADSC，也可以是DSC，具体取决于链路的应用需求。

2015年7月，ISO/IEC开始了JPEG-XS(ISO/IEC 21122)的标准化工作，CfP于2016年3月发布。这是一个低时延、轻量级的图像编码系统，在显示链路压缩、帧缓存压缩和实时UHD视频(如4K，8K)存储中具有潜在的应用前景。JPEG-XS的目标是以2～6倍的压缩率取得视觉无损质量的重建视频，其特征包括低编码-解码总时延、低复杂度软硬件实现和高传输差错的鲁棒性等。JPEG XS计划到2018年中期作为国际标准发布。

6 结束语

本文对DSC的起因、标准、技术、应用以及今后的发展作了简要的介绍。屏幕视频分辨率迅速提高，分离显示、嵌入式显示和共享显示应用的广泛普及等是催生显示流压缩的主要内在动因；而无损视频编码技术的发展，芯片集成度的提高，国际标准的制定是保证显示流压缩技术实现的外在原因。DSC的主要目标是实现一种轻型的显示链路视频编码器，实时、低成本和无损编码是它区别于其他视频编码方法的最主要的3方面。DSC标准的主要编码工具规定了适应不断变化内容的多种编码模型，对编码模型的判断、算法的优化和编码参数的选择等都留有充分的余地，开放给用户自行处理。到目前为止，VESA的DSC 1.2是性能最好的显示流压缩技术，潜在的竞争者可能是将要推出的JPEG-XS。目前，国内外有关显示链路视频编码的研究和开发正在蓬勃开展，新的算法、新的实验结果和新的软硬件实现不断涌现。有理由相信在不远的将来，有关显示流压缩的国际标准将会不断更新，编码工具的性能也会有较大提高，编解码器的实现复杂度和成本将会有显著的降低。

[1] Frederick G W, Alexander S M. VESA display stream compression for television and cinema applications [J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2016,6(4):460-470.

[2] Video Electronics Standards Association. VESA display stream compression (DSC) standard v1.2[EB/OL].http://www.vesa. org/ news/vesaissues-call-for-technology-advanced-display-stream- compression/,2016-1-27．

[3] Peng Wen-Hsiao, Wall F G, Robert A C, et al. Overview of screen content video coding: Technologies, standards, and beyond [J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2016, 6(4): 393-408.

[4] VESA.VESA updates display stream compression standard to support new applications and richer display content [EB/OL]. http://www.vesa.org/featured-articles/vesa-updates-displaystream-compression-standard-to-support-new-applications-and-richer-display-content/,2016-1-26．

[5] Malvar H S, Sullivan G J, Srinivasan S. Lifting-based reversible color transformations for image compression [C]∥Proc SPIE.[S.l.]:SPIE,2008: 707307

[6] Martucci S. Reversible compression of HDTV images using median adaptive prediction and arithmetic encoding [C]∥Proc IEEE Int Symp Circuits Syst (ISCAS).New Orleans, Louisiana， USA：IEEE， 1990: 1310-1313．

[7] Frederick W, Alexander M. BDC-1: A robust algorithm for display stream compression [C]∥ 30th Picture Coding Symposium (PCS) ．San Jose, California, USA：IEEE，2013:434-437．

[8] Willeme A, Macq B. Quality and error robustness assessment of low-latency lightweight intra-frame codecs[C]∥Proc Data Compression Conf (DCC)． IEEE Computer Society, Snowbird, Utah, USA：IEEE, 2016:637．

[9] ITU-T Rec. T.44. Mixed raster content (MRC) [S]. ITU-T, Geneva,Switzerland:[s.n.], 1999:1-39.

[10] JPEG. JPEG XS-Call for proposals for a low-latency lightweight image coding system [EB/OL]. https://jpeg.org/ items/20160311_cfp_xs.html，2016:3-9．

[11] Bedi S, Edirisinghe E A, Grecos G. Improvements to the JPEG-LS prediction scheme[J]. Image and Vision Computing, 2004,22(1):9-14.

[12] Yang Ming, Bourbakis N. H.264/AVC intra-only coding (iAVC) and neural network based prediction mode decision [C]∥IEEE International Conference on Tools with Artificial Intelligence．Arras, France: ICTAI, 2010:57-60.

[13] ITU-T Rec H.265. High efficiency video coding (HEVC)[S]. ITU-T, Geneva:Switzerland，[s.n.] , 2016:1-664

[14] 赵耀,黄晗,林春雨,等. 新一代视频编码标准HEVC的关键技术[J]. 数据采集与处理, 2014, 29(1):1-10.

Zhao Yao, Huang Han, Lin Chunyu, et al. Key techniques in new video coding standard HEVC [J]. Journal of Data Acquisition and Processing, 2014, 29(1):1-10.

[15] SMPTE ST.2042-1. VC-2 video compression [S].SMPTE, Washington D C:[s.n.],2012：1-137．

[16] Okan P, H, Fatih U, Ozgur O, et al. RImCom: Raster-order image compressor for embedded video applications [J]. Journal of Signal Processing Systems, 2016, 4(6): 1-17.

[17] Trilinear Technologies．Trilinear Technologies Adds Display Stream Compression (DSC) encode and decode solutions to IP portfolio [EB/OL]. http://trilineartech.com/trilinear-technologies-adds-display-stream-compression-dsc-encode-and-decode- solutions-to-ip-portfolio/，2017-1-9.

[18] Hardent Company.Hardent to demo visually lossless 4K display stream compression at CES 2017 [EB/OL]. https://www.hardent.com/hardent-demo-visually-lossless-4k-display-stream-compression-ces-2017,2016-12-1.

[19] Zhao L, Zhou K, Wang S, et al. Non-CE3: Improvement on intra string copy [R]. JCTVC-T0139, Switzerland:[s.n.],2015.

[20] VESA.VESA issues call for technology: Advanced display stream compression [EB/OL].http://www. vesa.org/ news/vesa-issues-call-for-technology-advanced-display-stream-compression, 2015-1-9．

With the rapid increasing resolution of display devices in computer, television and mobile phone, there is a consensus in the industry to solve the problem of lacking of display link bandwidth using display stream compression(DSC) technologies. Hence, several display stream compression methods continually appear in recent years, for example JPEG-XS, intra-only coding in H.264/AVC and Dirac (VC-2), HEVC-SCC screen contents coding and DSC of VESA, etc. Among these, the VESA DSC is a widely acceptable standard that is used in display link for a low cost, low delay, and visually lossless lightweight codec. A number of high efficient coding technologies are used in DSC including advanced prediction, indexed color history, plain entropy coding and perfect rate control. The paper overviews these new features and key technologies in DSC standard.

video compression; display stream compression; display link; prediction coding; visual lossless coding

江苏省高校优势学科建设工程资助项目;南京邮电大学“宽带无线通信与传感网技术”教育部重点实验室资助项目。

2017-03-29；

2017-04-19

TN919.8

A

朱秀昌(1947-)，男，教授、博士生导师，研究方向：图像处理与多媒体通信等，E-mail: zhuxc@niuot.edu.cn。

唐贵进(1979-)，男，副教授,研究方向：图像处理与多媒体通信等。

Video Display Stream Compression Technologies and Standards

Zhu Xiuchang, Tang Guijin

(Jiangsu Province Key Lab on Image Processing & Image Communication, Nanjing University of Posts and Telecommunications, Nanjing, 210003, China)