输电线路直升机/无人机巡检光电吊舱电子稳像方法研究

徐瑞 张洁 燕正亮

摘  要：直升机/无人机在巡检输电线路过程中，机载摄像机会不可避免地产生轻微或剧烈的抖动，为了获取稳定、清晰的巡检视频，需要对抖动视频进行去抖增稳。本文通过对输电线路巡检视频连续帧进行智能处理，在传统的运动估计模块与运动补偿模块之外，增加运动初判模块，采用相位相关法进行运动初判，基于FAST特征点的光流法进行运动估计，进而基于主运动识别的方法进行运动补偿，算法可根据可见光和红外视频抖动程度自动采取合适的处理策略及方法，实现直升机巡视光电吊舱视频的去抖增稳，实验表明，算法运动估计精度达0.024像素，抖动判断准确率为91%，标清巡检视频处理速度为25帧/s。

关键词：电子稳像  运动估计  抖动判断  运动补偿  巡检视频分析

中图分类号：TM755                           文献标识码：A                   文章編号：1674-098X（2020）09（c）-0137-05

Abstract： During inspection of transmission line by Helicopter/UAV， airborne camera will inevitably vibrate slightly or violently. In order to obtain stable and clear inspection video， it is necessary to stabilize the jitter video. In this paper， the continuous frame of transmission line inspection video is intelligently processed， and the motion preliminary judgment module is added in addition to the traditional motion estimation and motion compensation module. Phase correlation method is used to judge preliminary main motion mode. Then motion is estimated by optical flow method based on FAST feature points. Then motion compensation is based on the method of main motion recognition. The proposed method can automatically adopt appropriate processing strategies and methods according to the jitter degree of visible and infrared video. Experimental result showed the precision of motion estimation is 0.024 pixel， the accuracy of jitter judgement is 91% and the processing speed of SD inspection video is 25 frames per second.

Key Words： Electronic stabilization; Motion estimation; Jitter judgement; Motion compensation; Inspection video analysis

直升机/无人机被越来越多的应用于架空输电线路巡检，然而光电吊舱受多变的载体姿态和复杂的飞行环境等因素影响，导致所摄取的巡视视频失稳、模糊不清，分辨率严重下降，影响后续对巡检视频的应用。因此需要利用电子稳像技术对所摄取的巡视视频进行稳像处理，去除随机抖动的干扰，为进一步的线路目标检测识别与跟踪等提供基础[1]。

运动估计和运动补偿是电子稳像的关键步骤，而实时性和准确性是决定电子稳像技术能应用于直升机巡视系统等实际领域的关键指标，近年来，国内外诸多的算法中，基于特征点提取的运动估计方法结合适当的运动补偿方法的电子稳像算法具有良好的应用。

基于特征点提取的运动估计的研究方向是选取适当的算子，快速准确的提取和匹配特征点，进而提高电子稳像的准确性和实时性。目前常见的提取特征点的算子有SIFT（Scale Invariant Feature Transfer，尺度不变特征变换）算子、SURF（Speed-Up Robust Feature，加速鲁棒特征）算子、GFTT（Good Feature To Track，易于跟踪特征）算子、BRISK（Binary Robust Invariant Scalable Keypoint，二进制局部特征）算子、SUSAN（Small univalue segment assimilating nucleus，吸收核同值）算子、FAST（Features From Accelerated Segment Test，加速段试验特征）算子等[2-3]。可以基于算子的描述子匹配得到运动参数，也可以基于特征点提取结合如相位相关法、位平面匹配法、光流法和灰度投影法等方法进行运动参数估计[4-5]。运动补偿研究通常侧重于利用改进的Kalman滤波法、均值法或粒子滤波法等方法，平滑运动参数、获取运动补偿参数，提高电子稳像的准确性[5-6]。

1  电子稳像方法

1.1 技术路线

输电线路直升机巡视光电吊舱电子稳像算法在传统的运动估计模块与运动补偿模块之外，增加运动初判模块。具体技术路线如图1所示：对于输入视频初始帧，采用基于相位相关法的运动初判，获取初始运动状态;对于视频的后续帧，提取FAST特征点，并通过LK光流法得到特征点的运3到全局运动参数;利用初始运动状态和全局运动矢量矩阵，采用基于主运动识别方向的方法进行运动补偿，输出稳定视频。

1.2 基于相位相关法的运动初判

摄像机的拍摄状态包括静态拍摄、运动拍摄及静态拍摄与运动拍摄的相互切换三种状态。运动初判是指利用视频的初始帧，计算摄像机的二维平移量，并进行摄像机运动的初步判断，得到摄像机的初始运动状态，为后续稳像处理提供基础。相位相关法对相邻两视频帧进行快速傅里叶变换，将视频帧从空域变换到频域，然后通过他们的互功率谱可直接计算两视频帧间的平移量。

分别为和的共轭，对上式进行傅里叶逆变换，在空间形成的脉冲函数脉冲峰值的位置为两帧之间的平移量。在巡检开始时，以该平移量近似作为摄像机的二维平移量，实现主运动方向和运动状态的初始化。

1.3 运动估计

1.3.1 FAST特征点提取

FAST算子[4]提取特征点的原理是若在某一像素点P的邻域内有足够多的像素点的灰度值大于或小于该点的灰度值，则选择该点为特征点。

1.3.2 基于 LK （Lucas&Kanade）光流法的运动估计

基于光流的亮度恒常性假设和速度平滑性假设，利用LK法[7]的局部约束条件，假设面积为的小区域内各点的光流相同。在此情况下，LK法通过对区域内不同的FAST特征点赋予不同的权重，可将光流的计算转化为ELK的最小化，表示在时刻上坐标的灰度值，ELK如下式所示，

1.3.3 基于仿射变换模型的全局运动参数估计

根据估计出的n个FAST特征点的光流矢量，可以求出两帧间的仿射变换矩阵，得到两帧间的仿射变换矩阵即为全局运动参数，，分别为水平运动矢量和垂直运动矢量。

1.4 运动补偿

基于主运动方向识别的运动补偿流程如图2所示，利用当前运动状态和主运动方向对抖动进行判断，实现运动补偿。

具体的实现步骤如下。

1.4.1 主运动方向识别

在电子稳像过程中连续输入视频的运动估计参数，若运动估计参数方向一致性大道帧数阈值，则识别出主运动方向，否则判定为无主运动方向[8]。若能够识别出主运动方向，则判定当前运动状态为运动拍摄;若不能够识别出主运动方向，则判定当前运动状态为静态拍摄。

1.4.2 抖动判断

针对每两帧之间的运动矢量，如果当前运动状态为运动拍摄，若当前水平方向运动矢量、垂直方向运动矢量与主运动方向不一致，则判定为动态抖动，若当前运动量与主运动方向一致，则判定为非抖动。如果当前运动状态为静态拍摄，对当前水平方向运动矢量、垂直方向运动矢量进行判定，若大于一定阈值则判定为静态抖动，否则判定为非抖动。

1.4.3 运动补偿

若判定为静态抖动则以当前运动矢量为补偿参数;若判定為动态抖动，采用高斯权值的均值滤波对得到的运动矢量进行平滑，如下式所示，为视频第i帧运动矢量。

利用滤波后的运动矢量，对当前帧进行仿射变换，得到稳定的视频。

2  试验分析

本算法在Visual Studio 2010平台基于OpenCV3.0 beta的C++语言开发算法，实验平台为Inter（R） Core（TM） i7-4790CPU @3.60GHz，RAM16GB。采用11个视频进行算法的实验验证，各视频缩略图如图3所示，编号1～4视频为仿真视频，编号5～11视频为真实架空输电线路直升机/无人机巡视视频，其中5～9为可见光视频，10～11为红外视频。

视频1和视频2是仿真的静态拍摄视频，生成方法是对静态图像加入随机抖动量生成多帧图像，并将多帧图像合成仿真视频，视频的抖动量的大小和方向已知，可以用于评价稳像精度和统计抖动判断误差。

通过计算估计抖动量和真实抖动量的均方根误差RMSE（Root Mean Square Error），评价稳像精度。RMSE定义如下，

其中和分别为视频第i帧与第i+1帧间估计补偿量和真实抖动量，N为视频总帧数。

视频3和视频4是仿真的动态拍摄视频，生成方法是对平滑视频加入具有一定方向性的随机抖动量合成仿真视频，视频的抖动方向为已知，可用于统计抖动判断误差。仿真视频稳像处理结果如表1所示，抖动判断准确率平均值为91%，抖动量估计的均方根误差的平均值为0.024（像素），表明稳像精度达到亚像素级。

对于真实巡视视频稳像处理中，为表示稳像算法对标清视频的处理时间效率，将视频分辨率统一转换为720×576，对各视频处理的时间效率汇总表如表2所示，平均每帧处理时间为39ms，处理帧率为25fps，与原视频帧率相同，因此本电子稳像算法可以满足标清可见光视频和红外视频的实时处理。

图4是可见光视频8的第804、2328帧原始视频（左）和稳像后的视频帧（右）对比情况，图5是红外视频10原始视频帧和稳像后的视频帧的对比情况，自左向右、自上而下分别为第950、2376帧。

3  结语

直升机/无人机巡检光电吊舱电子稳像算法包括运动初判模块、运动估计模块和运动补偿模块。通过对仿真视频和真实架空输电线路巡视视频的实验表明，视频抖动判断准确率为91%;抖动量估计的均方根误差的平均值为0.024像素，稳像精度达到亚像素级;对于标清巡视视频的去抖增稳时平均单帧处理时间为39ms（即处理帧率为25fps），达到了实时性的要求。

參考文献

[1] 谷祥访.输电线路无人机巡检技术应用现状及相关问题探讨[J].科技创新导报，2019，16（26）：22-23.

[2] Jiaoru Yang， Rui Wang， Rui Xu. Salient Feature Detection for optical flow computation[C]. The 2016 IEEE Chinese Guidance Navigation and Control Conference.（CCNCC2016），Nanjing，China，2016：2473-2476.

[3] 陈雨铭.电子稳像中的特征点匹配与平滑滤波算法研究[D].南京：南京大学，2019.

[4] 酒锐波，李冰寒，刘玉婷.基于FAST-9角点与光流法的机载视频稳像算法[J].科技资讯，2019，17（1）：38-39，42.

[5] 熊炜，王传胜，李利荣，等.结合光流法和卡尔曼滤波的视频稳像算法[J].计算机工程与科学，2020，42（3）：493-499.

[6] 郑鹏珍.复合运动下的电子稳像算法研究[D].西安：西安电子科技大学，2019.

[7] Fan Z，Yang G，Bakos J D. Lucas-Kanade Optical Flow estimation on the TI C66x digital signal processor. High Performance Extreme Computing Conference，2015.

[8] Rui Xu， etal. Research on video motion compensation method based on the analysis of airborne video camera shaking mode of continuous video frames. 2016 IEEE PES 13th International Conference on Transmission & Distribution Construction， Operation & Live-Line Maintenance （ESMO）， Columbus， OH， 2016：1-4.