基于条件随机场的视频运动目标可靠性检测方法

李晓峰，邢金明

(1.黑龙江外国语学院 信息工程系，黑龙江 哈尔滨 150025；2.东北师范大学，吉林 长春 130024)

1 概 述

智能图像和视频信息处理技术应用中，采用图像信息处理技术进行视频运动目标分析，对视频运动目标进行可靠性检测，提高视频运动目标的检测和识别能力，相关的视频运动目标可靠性检测方法研究受到人们的极大关注[1]。对视频运动目标的检测是建立在图像信息处理的基础上，构建视频运动目标的三维视觉特征分析模型，采用高分辨的视频运动目标识别和特征提取方法，进行视频运动目标检测，对视频运动目标识别和运动视频特征分析研究具有重要意义。

视频运动目标成像多采用光学成像，受到条件随机场的干扰，导致视频运动目标的可分辨性不高，一些发达国家经过长时间的分析与探讨，对视频运动目标成像也进行了探索和研究。文献[2]提出了基于背景更新算法的运动目标伪装效果检测方法，采用伪装原理进行目标检测，以军用卡车模型为研究对象，基于背景更新模型和实验室三通道技术，利用一种新的运动物体伪装效果的检测方法，根据建立的实验系统，计算军用卡车伪装前后形状特征参数之间的欧氏距离，实现了运动目标伪装效果检测；文献[3]提出了基于Ka波段视频合成孔径雷达的低雷达散射截面积运动目标检测方法，首先研究了目标阴影的特征，主要受目标尺寸、雷达波束入射角和目标速度的影响，然后利用视频合成孔径雷达系统检测运动目标，并对其运动目标检测性能进行了分析；文献[4]提出了基于格式塔原理的运动行星检测与跟踪方法，构造高斯混合模型，从视觉认知的角度检测运动区域，利用天文图像的图形特征确定行星的位置，然后提出了跟踪行星的时空融合模型，完成运动行星检测与跟踪。但是以上三种方法的目标检测的分辨率较低，降低了检测效果。国内在这方面研究也相对较多，例如，文献[5]提出了基于背景减除法的视频序列运动目标检测方法，该算法利用背景减除法和帧间差分法，确定视频图像帧像素点的运动状态，根据像素点的运动状态，采用最大类间方差法对提取差分图像，并使用数学形态学运算去除目标图像中的噪声，完成视频序列运动目标检测；文献[6]提出了基于联合直方图的运动目标检测方法，该方法利用联合直方图来描述相邻帧间的相似性，通过对视频序列中相邻两帧图像进行逐次分块，计算相邻帧对应分块的联合直方图并结合构造的相似性指标以逐步去除背景块，该方法对运动目标本身不作处理，就能有效地避免检测到的运动目标出现空洞现象，最终得到了完整的运动目标。但是以上两种方法在进行运动目标检测时，检测时间较长，检测效率较低；文献[7]提出了一种综合使用混合高斯、均值滤波和码本的多方法融合的检测方法，该融合检测方法以上述3种检测方法为准则建立一个多准则决策框架，通过双阈值检测法来表征检测过程中的不确定性，最终利用谨慎有序加权平均方法进行决策级融合，实现多种方法的优势互补。但是该方法由于运动特征分布散乱，导致目标跟踪精度较低，跟踪效果差；文献[8]提出了基于改进高斯混合模型的体育视频运动目标检测与跟踪方法，通过分析高斯混合模型的弊端，保留原有的“背景重建-模型更新-背景更新-目标检测”处理进程，将彩色图像转换为灰度图像，在像素相似度差别小的背景区域进行动态扩张，加入基于灰度直方图的目标跟踪进程，提高高斯混合模型对体育视频运动目标的处理效率与精度。但是该方法的运动目标检测准确率较低。

针对上述问题，通过对运动目标进行跟踪，可以利用目标之间的相对位置信息，但是在建立模型时，训练样本相对较多，而条件随机场是一种判别式机率模型，是随机场的一种，常用于标注或分析序列目标，具有训练样本少的特点。因此，文中提出基于条件随机场模型的视频运动目标可靠性检测方法。首先构建视频运动目标的像素特征点块匹配结构模型，提取目标特征的关键帧频带，并构建帧内编码函数，跟踪目标运动轨迹。再建立目标图像的条件随机场分布模型，通过粗重构和超分辨率重建，最终实现运动目标的可靠性检测。最后通过仿真实验可知，该方法具有较高的视频运动目标的检测准确率、跟踪精度和检测分辨率，且检测时间较少。

2 视频运动目标图像自适应跟踪

2.1 目标特征关键帧频带划分

为了实现视频运动目标的可靠性检测，首先采用模板匹配方法构建视频运动目标的像素特征点块匹配结构模型，如图1所示。

图1 视频运动目标的块匹配结构模型

在图1所示的块匹配结构模型中，采用像素帧匹配视频运动目标的模板，对第k个子带中采集的目标图像，采用关键帧融合方法，构建码视频运动目标图像的频带划分模型[9-11]，根据关键帧间的相关性，得到视频运动目标图像分块融合的均方误差函数准则(MSE)，计算公式如下：

(1)

(2)

其中，N1×N2为视频编解码框架提取中视频运动目标图像的高频带编码带宽分布，(mvx,mvy)为视频运动模板的分块融合矢量，fi(x,y)和fi-1(x+d1,y+d2)分别表示视频运动目标图像当前帧和参考帧的像素点[12-13]。

采用图像像素空间融合匹配技术实现在每个尺度下的视频运动信息统计分析，得到统计特征量LogfEcv(c1,c2)为：

LogfEcv(c1,c2)=μ·Length(C)+ν·Area(inside(C))+

(3)

其中，c1和c2分别表示视频运动目标图像的灰度系数和亮度系数，μ、ν、λ1和λ2表示稀疏性特征分布函数，均为大于0的常数。

采用关键帧检测方法，对目标统计特征量中的关键帧进行分析，像素关键帧的频带划分D的计算公式如下：

(4)

2.2 基于帧内编码函数的运动轨迹跟踪

根据上述获取的像素关键帧频带划分结果，进行视频运动目标轨迹自适应跟踪分析，主要通过构建帧内编码函数实现跟踪[16-18]。

采用分块模板匹配方法，采集视频运动目标图像的视觉信息，得到视频运动区域内的视频序列的每帧轨迹跟踪函数，定义如下：

v(x)=g-1(g(1)-g(u(x)))

(5)

其中，u(x)为视频运动目标图像的邻域灰度函数，g(·)表示关键帧编码模式下的轨迹跟踪目标函数，满足g:[0,1]→[0,1]。由此提取视频运动信息特征量，得到视频运动目标图像的关联规则系数P(Y)的表达式为：

(6)

(7)

3 视频运动目标可靠性检测优化

3.1 目标图像的条件随机场分布模型

文中提出基于条件随机场模型的视频运动目标可靠性检测方法，对视频运动目标图像边界特征进行分段检测，解决了视频运动特征分布散乱、跟踪效果差的问题，提高了视频运动目标检测的准确率。初始化视频运动目标图像的边缘轮廓中心，得到视频运动目标图像的轮廓像素分布模型g(xi,yj|μk,αk)，其表达式为：

(8)

(9)

其中，xj表示视频运动目标图像的每个像素特征聚类点j的边界信息，dist(xi,xj)表示视频运动目标图像标记特征点xi和xj之间的欧氏距离，参数σ表示关键帧编码的帧调节系数。

3.2 目标高分辨视觉重建及检测

在上述基础上，根据边缘轮廓特征分布进行目标重构与可靠性检测，得到视频运动目标图像的高分辨率像素特征g的表达式为：

g=k⊗f+n

(10)

其中，⊗表示卷积算子，对采集的视频运动目标图像进行点识别，得到其特征匹配函数sPPM(t)为：

(11)

其中，Ts是视频运动目标图像的边缘轮廓增益，采用邻域插值方法进行视频运动目标图像的高分辨重建，得到视频运动目标特征粗重构g'(x,y)的表达为：

(12)

其中，wxy为灰度像素分量，利用空间区域像素增强方法进行视频运动目标的灰度增强，得到灰度增模板函数为：

(13)

其中，η表示视频运动目标图像的边缘轮廓特征检测系数，φ表示高分辨率图像重构的像素误差，D表示边缘模糊像素集。使用梯度下降法进行视频运动目标图像的区域像素点匹配，得到图像的稀疏度系数满足C∈S，视频运动目标图像的最佳分辨率检测结果输出P(k/k)的表达式为：

视频运动目标图像受到零均值的加性高斯白噪声的干扰，得到基于稀疏表示的视频运动目标图像精细重构模型g(x,y)为：

g(x,y)=f(x,y)+ε(x,y)

(15)

其中，f(x,y)、g(x,y)、ε(x,y)分别代表原始图像、高分辨重构后视频目标图像以及灰度图像，由此得到视频运动目标的可靠性检测输出结果I(i,j)，表示为：

(16)

综上分析，实现视频运动目标的优化检测，提高对视频运动目标的可靠性检测[20]。

4 实验与结果分析

4.1 实验环境和数据集

通过仿真实验验证基于条件随机场模型的视频运动目标可靠性检测方法的有效性。实验在Matlab仿真工具，Microsoft Windows10操作系统，Intel/英特尔 酷睿 I7 8100 酷睿8代处理器，24 GB内存环境下完成，对视频运动目标图像检测的样本数据库来源于Olympic sports dataset视频图像数据库(http://vision.stanford.edu/Datasets/OlympicSports/)，共采集数据5 000个，进行50组实验，每次使用100个数据。

4.2 实验指标

以视频运动目标检测的分辨率、检测时间、目标跟踪精度、检测准确率为实验指标，采用文献[2-8]的方法和文中方法进行对比实验。

(1)检测准确率：由于视频运动特征分布散乱，跟踪效果差，严重影响了视频运动目标检测的准确率，所以文中采用分块模板匹配技术解决此问题，以提高检测准确率。

(2)目标跟踪精度：精度为验证测试值的准确性，由于视频运动特征存在分布散乱现象，导致目标跟踪精度较低，由此，采用文中方法和文献[4-6]的方法进行对比分析。

(3)检测时间：视频运动目标图像检测的过程中需要产生大量的时间，能够对检测效率产生影响，检测时间越快，检测效率越高。采用文中方法与文献[5-8]的方法对视频运动目标图像检测时间进行对比。

(4)检测分辨率：较多视频运动目标图像检测会借助图像的分辨率来做出更为准确的检测判断，大大增加了检测效果，检测分辨率越高，视频运动目标检测效果越好，为此采用文中方法与文献[2-5]的方法进行对比分析。

4.3 实验结果

研究的视频目标有高速运动的车辆以及球员，对目标图像采样的灰度像素级为120×200，搜索窗口的起始位置为(1.2,3)，滤波的观测值为0.25，检测的迭代次数为2 000，视频运动目标图像的边缘轮廓像素分布为20*20，最大似然学习系数为0.48，0.92，根据上述仿真参量设定，进行实验分析。图2为视频运动目标图像测试样本基准图。

图2 视频运动目标图像的基准图

以图2的视频运动目标图像为研究样本，进行视频运动目标检测，提取视频运动目标图像的边缘轮廓特征量，采用分块模板匹配技术进行视频运动目标图像的块特征匹配和高分辨视觉重建，实现目标跟踪识别，得到在200帧下的检测输出结果，如图3所示。

图3 视频运动目标检测输出结果

分析图3得知，采用文中方法进行视频运动目标检测，其检测结果准确性较好。采用文中方法、文献[5-7]的方法，对视频运动目标检测的准确率做进一步验证，验证结果见表1。

表1 检测准确率对比 %

分析表1结果得知，采用文中方法进行视频运动目标检测的准确率较好，最高可达99.63%，文献[5]方法和文献[6]方法的检测准确率最高可达95%左右，但仍旧低于文中方法，而文献[7]方法的检测准确率最高只有89%，验证了文中检测方法的优越性。主要是因为文中方法在运动目标检测过程中，对运动目标分别进行了粗重构和精细化重建，以此获取检测结果，大大提高了检测结果的准确率。

在实现视频运动目标检测过程中，为避免因特征点分布散乱出现的跟踪效果差的问题，对运动目标进行了跟踪处理，以增强检测效果。为验证文中方法的可靠性，将文中方法与文献[4-6]的方法进行目标跟踪精度对比，结果如图4所示。

分析图4可以看出，利用文中方法获取的目标跟踪精度较高，随着实验数据量的增多，跟踪精度可高达80%，而文献[4]方法的最高跟踪精度为75%，文献[5]方法的最高跟踪精度为40%，文献[6]方法的最高跟踪精度为45%。由此可以看出，文中方法的跟踪精度较高，为目标的可靠性检测提供了数据基础。

图4 目标跟踪精度对比

为进一步验证文中方法的有效性，对文中方法与文献[5-8]的方法的视频运动目标的检测时间进行对比分析，对比结果如图5所示。

图5 视频运动目标检测时间对比

根据图5可知，文中方法的检测时间随着实验次数的增长而逐渐降低，其检测时间在25 s以下；文献[5]方法的检测时间在50 s以下；文献[6]方法的检测时间在75 s以下；文献[7]方法的检测时间在80 s以下；文献[8]方法的检测时间在61 s以下。文中方法的检测时间比传统方法的检测时间少，说明该方法具有较高的检测效率。

采用文中方法、文献[2-5]的方法，对视频运动目标图像检测的分辨率进行对比分析，对比结果如图6所示。

根据图6可知，采用文中方法的视频运动目标图像的检测分辨率在90%～100%之间；采用文献[2]方法的视频运动目标图像的检测分辨率在60%～80%之间；采用文献[3]方法的视频运动目标图像的检测分辨率在40%以下；采用文献[4]方法的视频运动目标图像的检测分辨率在70%～90%之间；采用文献[5]方法的视频运动目标图像的检测分辨率在40%～50%之间。文中方法的视频运动目标图像的检测分辨率较高，说明视频运动目标检测效果好。

图6 视频运动目标图像的检测分辨率对比

5 结束语

由于传统的视频运动目标检测方法存在检测性能较差的问题，为提高视频运动目标的检测和识别能力，提出基于条件随机场模型的视频运动目标可靠性检测方法。采用分块模板匹配技术进行视频运动目标图像的块特征匹配，采用图像像素空间融合匹配技术实现在每个尺度下的视频运动信息统计分析，获取特征点检测结果。在此基础上，建立目标图像的条件随机场分布模型，并对目标进行高分辨视觉重建，根据视频运动目标图像的边缘轮廓特征分布进行目标的可靠性检测。研究得知，文中方法进行视频运动目标检测时，其检测准确率、跟踪精度均较高，且检测时间较少，检测分辨率较高，说明该方法的检测效果较好。为日后运动目标图像检测奠定了较深的基础。鉴于视频运动目标检测是一个非常复杂的问题，涉及到很多领域的知识，在建立目标图像的条件随机场分布模型基础上，根据视频运动目标图像的边缘轮廓特征分布进行目标重构与可靠性检测，但是如果换做其他的模型是否会有更好的效果，这也是需要进一步研究的问题。