一种多方向感知的高实时性视频融合算法

莫 维，唐清善，黄 涛

(1.长沙理工大学物理与电子科学学院，湖南 长沙 410114; 2.中国人民解放军第3303工厂，湖北 武汉 430200)

0 引 言

单个相机拍摄的图像分辨率和拍摄视角具有上限，被拍摄物体实际分辨率的大小受自身所在位置约束，物体越靠近相机，物体本身分辨率越高，但相机视场角越小，反之同理。同一场景下分辨率和视场角的对立关系使得两者不能兼顾，无法满足人眼视觉的最佳要求。全景视频通过全景相机或者数个相机拼接合成能够得到分辨率高、视场角大的影像[1]，在视频监控[2]、无人驾驶[3]、视频会议[4]、虚拟现实[5]等众多领域应用广泛。

图像拼接是视频拼接的基础，本质都是将多个具有重叠区域的不同视角的图像融合成一个大视场图像[6]。目前来说，图像拼接方面的研究日渐成熟，而视频拼接需要花费更多且难度更大，仍然有很多问题需要解决[7]。比如，视频中前景运动对象周围存在的伪影、视差、幻影等会大大增加拼接的难度[8]，即使是固定好相机模组的光学中心，在实际拍摄过程中，也难以避免滚动和俯仰。略微滚动或倾斜就会给图像直接造成伪影与失真[9]，理想条件经常无法满足，各视频光心不在同一点。视频每帧若各自独立拼接，则将严重影响视频的时空一致性，且计算复杂、实时性差[10]。

当前，视频拼接方面有研究者做了大量的研究。文献[11]采用具有固定视差的双鱼眼镜头，将大视角鱼眼画面通过网格变形投影到球面模型上来，能经济高效地实现360°全景视频拼接，但鱼眼镜头本身存在大的画面畸变，拼接的视频不能很好地满足人眼视觉要求且分辨率不高。……