虚拟视点插值中参考视图选择策略

冷红梅

（四川大学视觉合成图形图像技术国防重点学科实验室，成都610065）

0 引言

近年，自由视角技术[1-2]热度逐年提高。2020 年，湖南卫视《舞蹈风暴》节目中已经利用基于图像的渲染技术实现了自由视角技术的一种应用——360°凝空。但遗憾的是，为了满足观众观看3D 电视时的实时观看功能和高质量画面效果，现阶段上述应用的自由视点的操控权并未赋予给观众。这不仅是因为现阶段网络传输带宽和速度的限制，也是因为保证画面完整度的自由视角受到现场部署的上百个精准矫正的拍摄机位的约束，因此无法让用户自由发挥。当给予用户自由视点的操控权，并且不限制用户在规定的轨迹上选择视点，这给基于IBR 的自由视角绘制技术的应用（即自由漫游[1-2]）带来了更大的挑战。

通常，利用IBR（Image-Based Rendering）技术绘制自由视角画面需要在目标场景中拍摄或者渲染多个不同视点的图像来渲染高质量的自由视角画面[3]。原则上，在自由视点周围越是密集地采样看向目标场景的多个视图，则渲染的自由视点画面质量越高。但随之而来的是明显的渲染时间成本，严重影响自由视角画面渲染的实时性。然而，越是密集的采样，相邻视角采样得到的画面的重复度越高，导致自由视角画面渲染中大量重复的计算（图1 中①至④重复性插值示意流程）。此时，考虑减少参考图像的数量是减少重复计算提升性能最直接有效的解决方案。但是，随着参考图像数量的减少，自由视角画面产生空洞（图1 中⑥所指区域）的风险也随之增大。

图1 虚拟实现插值示意图

基于图像的渲染技术虽然在近些年得到了大量的关注，也有不少研究者发表了虚拟视点插值相关的论文，但在大量文献[4-7]中并未明确指出渲染虚拟视角图像是以哪些参考图像作为输入，又或者是直接手动选择参考图像[8]，只关注插值算法。

在实际插值应用中，基于右参考视角不能看见的东西可以在往左移动的过程中看到被前景遮挡的物体的规律，普遍认为与虚拟视角同一水平线（baseline）或者运动轨迹的左右两个参考图像能够为虚拟视点提供目标场景比较完整的场景几何信息。本文基于此，提出了快速正确计算可以合成高质量虚拟视点图像的左右两个参考视点的方法。

1 多参考图像插值问题概述

在多参考图像合成虚拟视点图像过程中，几何遮挡、视野范围、光照，以及采样率限制都会影响最终合成图像的质量。下面分别介绍这三个主要影响合成图像质量的三方面问题产生的原理。

1.1 遮挡问题

通常，由于不知道用户操控的自由视角（虚拟视角）到底会出现在场景的哪个方位，参考图像采集过程是随机的，因此无法保证采集的图像可以提供完整的虚拟视角可见场景的信息。我们可以根据参考图像的深度信息直接通过二次投影得到参考图像中像素投影到虚拟视角的位置，从而获得插值信息。然而，当参考视点与虚拟视点位置和视角发生偏差时，因场景中几何位置固定使得参考图像无法采样被遮挡的几何表面，但该几何表面在新视角下会被看见，从而导致空洞现象；而因视角发生变化也可能使得参考图像中属于背景的已采样区域会被前景遮挡，导致该区域信息成为无用信息。一般，参考视点虚拟视点差异越大，则遮挡和视野限制问题会出现得越严重，导致合成虚拟视角画面质量低下。通常，通过蛮力算法[9]不断增加输入的参考图像数量可能提高画面的质量，但却也会带来大量无用的计算负担。

图2

1.2 采样率限制

当相机从不同的视角观察同一表面，采样得到的几何面积会因视角变化得到不同的大小。如图3 所示，最左边的参考图像采样几何表面面积S1 明显小于右边的参考图像面积S2。假设虚拟视点的Ground Truth 采样到的几何表面面积S3 与S1、S2 存在关系：S1 ＜S3 ＜S2，则当S1 中像素表面信息被投影到S3 中时，会出现不连续的插值结果，即虚拟视点Ground Truth S3 面积不能被完全插值填充导致空洞失真（如图1）；因为S2 采样的几何表面面积大于S2，因此当S2 中几何表面像素信息投影到S3 中时，很可能能够获得完整的S3 几何表面信息。然而，通常采样场景信息时，我们不知道用户会如何操控虚拟视点的移动。因此，无法保证在任何情况下都存在几何采样面积大于虚拟视点所需要的采样面积大小，此时还是不能避免出现空洞现象。但是，可以确定的是当采样面积越大时，虚拟视点插值的效果会比采样面积小时更好。

图3 对同一几何表面的不同视角采样结果示意图

1.3 光照问题

捕获自然场景中非Lambertian 表面需要遵循微观光照反射的物理规律，导致最终从不同采样视角下采样得到的几何表面颜色也不同，即采样的颜色L与光线的落点wo（观察视点）有关。基于物理的光照采样结果规律，在图形学中抽象表示为如下公式。

如图4 所示，当从Eye1～Eye4 分别捕获几何表面同一点，得到的光强不同。其中随着视角偏离反射光线，捕获的光照强度逐渐减弱，导致最终呈现的颜色也不同。因此，将几何信息从不同视角投影到虚拟视点时，可能会因此导致插值同一几何表面信息过渡不正常，或者光照强度不正确的问题。

图4 宏观光照反射示意图

1.4 视野范围受限

视野范围受限具体变现为不同视角中会采样新的场景空间，这个新增场景空间应区别于在1.1 小节中提到的被遮挡的几何情况。如果把视角光轴方向看作是场景的纵向扩展方向，那么水平轴的方向则是场景横向扩展。1.1 小节中提到的遮挡问题属于场景纵向扩展中出现的问题，而视野范围属于场景横向扩展导致的问题。

2 参考图像或视点选择策略

前文提到在实际拍摄过程中，当视角从左往右或者从右往左的方向移动时，能够使得前一个视角被遮挡的物体逐渐被视角捕获，也可以逐渐捕获新的场景空间。当虚拟视点处于两个视角中间意味着能够很大程度上减少试图合成中出现场景物体丢失的概率。但是随着左右两个视点差距变大，两者捕获的场景内容相关性也会降低，使得两个视点间无法进行相互补充，而违背初衷。因此，本小节主要针对如何快速准确地计算与虚拟视点最相邻的参考视点。

通过欧氏距离可以直接计算参考视点与虚拟视点的距离：

其中，Ci和Cv分别视点在场景空间中的参考视点和虚拟视点的世界坐标。但欧氏距离选择最近邻参考视点的方法只适用于参考视点在直线或者曲线均匀分布的情况，当参考视点是随机且不均匀的情况下，该方法计算的一对参考视点很可能属于虚拟视点的同一方位，从而导致虚拟视点无法获取完整的横向和纵向的场景空间信息并产生空洞，如图5 所示。

图5 非均匀分布参考视点与虚拟视点位置分布案例1

如图5 所示，当与虚拟视点最近的参考视点3 周围存在一个与参考视点3 十分靠近的另一个参考视点2 时，另一个参考图像则很有可能被选择。这种情况下参考视点2、3、4 存在关系：Dc2→c3+Dc3→v＜Dc4→v。因此，为了避免上述同侧选择问题，可以添加反向约束条件：

但是，当虚拟视点在图6 的情况下，该反向约束条件可能导致正确的参考视点对被丢弃，而选择错误的参考视点对。

图6 非均匀分布参考视点与虚拟视点位置分布案例2

此时，Dc3→c4＜Dc4→cv且Dc4→c5＞Dc4→cv，因此，错误地选择了同侧的两个参考视点。

为了能够在本文方法下正确地选择虚拟视点左右方位的参考视点，我们需要确定一对参考视点方案中的视点是否在虚拟视点两侧。原本计算欧氏距离采用的是世界坐标系下的视点坐标，而视点本身具有一个坐标系，相机坐标系。在线性代数中，两个坐标可以通过一个变换矩阵R 来实现变换，变换等式如下式。其中，为了将原世界坐标的视点都转换到虚拟视点的相机坐标系下，R 设为相机的虚拟视点的旋转矩阵。

将参考视点坐标转换到相机（视点）坐标系后，我们可以很容易地根据坐标中x 轴数值的正负来判断参考视点是否在虚拟视点的两侧。

图7 OpenGL下的相机（视点）坐标系

最终，通过改进条件约束，我们能够得到预期的参考视点对。改进约束条件如下：

3 实验结果

本节将展示通过本文方法计算得到的最佳参考图像对来合成虚拟视点图像，以及任意选择参考图像对合成虚拟图像的效果对比结果来展示，本文方法的是否符合最邻近两侧参考点是否能产生更加高质量的虚拟视点图像来证明该方法的应用性。

CPU：Intel Xeon CPU E3-1230 V2 3.30GHz

System：Windows 10

图8 最佳参考图像对合成虚拟视点

图9 自设参考图像对合成虚拟视点

自设参考图像选择是最佳参考图像对周围的更远的参考视点，从图8 和图9 我们可以看到，即使稍微增加参考视点的x 轴距离，自设参考图像对合成的虚拟视点缺失的信息明显更多（空洞-黑色），而通过本文方法得到插值结果空洞相对较少。当合成图像中缺失信息的面积越大，尤其是连续缺失信息的区域的修复难度增加，修复的可信度也会降低。本文方法，可以在给出的参考视点中找出合成虚拟视点图像空洞最少的最佳参考图像对。

4 结语

由于本文参考十点选择方法不依赖于场景模型以及虚拟视点插值算法，仅依赖于视点（相机）的信息，因此可以快速计算虚拟视点最邻近两侧参考视点。从而获得原则上场景信息缺失最少的参考图像选择策略，得到高质量的虚拟视点合成图像。

但是，遗憾的是本文方法仅适用于视点的视角方向一致或者看向极远处同一点的情况下适用，而在采样视角也是随机时，无法保证获取能够渲染出最高质量虚拟视点图像的参考视点。当参考视点的视角与虚拟视点视角方向偏差较大时，即使是最邻近距离，也对虚拟视点合成图像没有太大的增益效果。因此，如果在视点和视角完全随机设定的背景下，我们则需要考虑视线方向对场景采样结果和虚拟视点插值的影响。