基于深度学习的多视点视频编码方法综述

罗 铖，缪辰启

（福州大学 物理与信息工程学院，福建 福州 350108）

0 引 言

为了提供身临其境的体验，多视点视频从不同的位置和角度捕捉视觉信息，导致了数据量的激增。如何在保证重建质量的前提下降低编码码率已经成为一个关键问题。传统的多视点视频编码（Multiview Video Coding，MVC）[1]方法通常利用混合编码框架对每个视点进行编码。当前流行的多视点加深度（Multi-view plus Depth，MVD）方法为了进一步降低编码码率，在编码时忽略中间视点，并在解码端通过深度图重建它们。然而这类方法在碰到物体遮挡和变形的情况时，很难得到精确的深度信息，所以难以重建中间视点。最近的研究工作已经证实了基于深度学习的视频编码的可行性[2]，这得益于神经网络强大的非线性建模能力和大批量数据集的训练。不过现阶段学术界对基于深度学习的多视点视频编码研究较少，这仍然是一个值得继续探索的方向。

1 多视点视频的特点及应用

多视点视频是由摄像机阵列对同一场景进行拍摄所形成的一系列具有时间和空间相关性的视频[3]，其采集过程如图1所示。

图1 多视点视频拍摄示意图

当前多视点视频在多个场景都有其巨大的应用和研究价值，比如远程控制的医疗手术、VR/AR等沉浸式体验以及体育直播中的特效制作等等。在这些场景下，用户可以基于自己所处的不同角度位置，观看自己感兴趣的内容。然而多视点视频不可避免地带来多倍的数据量，因此不得不对其进行压缩编码。……