利用全景图的视频稳像算法

蒋双霜 朱振峰 常冬霞

(1. 北京交通大学信息科学研究所，北京 100044； 2. 北京市现代信息科学与网络技术重点实验室，北京 100044)

1 引言

由于拍摄设备的无规律运动常造成视频的抖动，其不仅影响用户的观赏体验，也不利于对视频的进一步分析与处理，由此稳像技术应运而生。相比传统光学、机电等防抖技术，基于计算机视觉的电子稳像技术以其低成本、低能耗、强灵活性等优点成为稳像技术的研究热点[1- 4]。

目前，电子稳像技术可分为“2D”方法、“3D”方法和“2.5D” 方法。“2D”方法主要由运动估计、运动平滑及运动补偿组成[5-9]。运动估计利用特征匹配、光流跟踪等首先建立帧间的变换矩阵[5- 6]，进而获取相机原始运动轨迹。为消除视频抖动，需对该轨迹做进一步的平滑处理。常见平滑方法有卡尔曼滤波[7]、粒子滤波[8]等。不同于上述对独立运动模型进行滤波的方法，Grundmann 等利用L1范数[9]对线性、抛物线等形式的运动估计进行平滑，从而获取稳定的相机轨迹，并在YouTube中得到应用。运动补偿基于平滑后的轨迹对抖动帧进行补偿，进而输出稳定视频。上述“2D”方法速度快、鲁棒性好，但模型固定，难以处理有视差、深度变换等复杂场景。为此，学者们提出非参数模型的“2D”方法[10]来对点特征轨迹进行平滑。虽然其具有较好的灵活性，但由于较难获取长特征轨迹，不能解决旋转平移、运动模糊等问题。为避免长时特征轨迹跟踪，Liu等[11]提出了一种非参数的稳定光流运动模型修正原始光流，在处理存在视差、动态运动目标和果冻效应[12]等情况下的抖动视频时取得了较好的效果，但视频前景的大小对稳像结果影响较大。……