基于相邻帧减算法的监控视频关键帧检测技术

孙 鹏 周纯冰 杨洪臣 沈

（中国刑警学院 辽宁 沈阳 110035）

基于相邻帧减算法的监控视频关键帧检测技术

（中国刑警学院 辽宁 沈阳 110035）

针对目前视频侦查工作中监控视频数据量大、常规的人工浏览监控视频获取案件相关信息的方式实时性差，漏检率与误检率较高的难题，提出了一种利用相邻帧减算法检测监控视频中关键帧的技术，该技术首先将连续的监控视频分解为离散的单帧图像，然后利用相邻帧减算法对相邻的单帧图像进行减法运算，最终实现了对监控视频中关键帧的检测，仿真实验表明，本文提出的方法能够较好地检测监控视频中的关键帧，提高关键帧检测的准确性与效率。

视频侦查 监控视频 关键帧 背景差分算法 动态背景更新

1 导言

随着各类视频监控系统的快速发展与普及，越来越多的监控视频被用于重点区域的防控与刑事案件的侦破当中，视频侦查作为一种重要的案件信息获取手段成为刑事科学技术领域一个新的研究热点，引起了相关领域学者的普遍关注。通常认为，视频侦查就是指根据案件侦破的需要，通过对案发现场及周边视频监控视频的采集、回放、分析和研判，综合运用视频监控技术、关键帧提取技术、图像处理与内容识别技术等多种现代信息技术手段与传统侦查措施相结合，深入挖掘案件相关线索、追踪犯罪嫌疑人体貌特征、行为特征与行动轨迹，形成一种空间综合、时间综合、信息综合的以实现打击和防控刑事犯罪为目的的方法体系。目前实施视频侦查的主要方式是依赖案发后视频侦查员采取人工浏览视频监控视频的方式来找寻案件相关信息。由于监控视频数据量很大，导致这种基于人工处理的视频侦查方式容易出现以下的一些问题：工作强度大，持续时间长，容易对视频侦查员的健康情况造成影响；犯罪相关的关键信息获取实时性差，犯罪分子具有充分的时间进行逃逸、甚至二次作案；容易出现重要信息的遗漏或误判。

为了解决上述问题，本文提出了一类适合于视频侦查应用的基于相邻帧减算法监控视频关键帧检测技术。实验表明，本文提出的基于相邻帧减算法的监控视频关键帧检测技术能够准确的识别监控视频中的关键帧，避免了由于人工浏览方式所造成的误检率与漏检率较高的问题，提高了视频侦查的效率。

2 相邻帧减算法

相邻帧减算法是一种基于图像对应位置像素差值的关键帧检测技术，也称之为相邻帧差法。如果令表示一段监控视频，f（St）表示视频中的图像帧，则存在下面的形式：

式中，T表示监控视频的最大帧数。

相邻帧减算法的基本原理为：

式中，f（St+1）和f（St+1）分别表示监控视频；V中的两个相邻的图像帧；f（St+1）表示t+1时刻相邻图像帧相减得到的差值图像的绝对值。

相邻帧减算法就是利用视频序列中连续的两帧或几帧图像对应像素点在灰度值上的差异进行目标的检测和提取。一般的做法是将视频中两帧图像用差分相减得到差值图像，由差值图像得到二值图像，在差值图像中，如果差值大于给定的阈值，则认为该像素为前景像素，即认为该像素为目标上的一点，否则认为是背景像素。

在滤除噪声影响后，利用相邻帧减算法可以比较准确地检测出镜头画面中出现的运动对象，并确定目标对象在图像中的大小和位置。相邻帧减算法简单快速，易于实时实现，能够准确地检测画面中出现的运动物体。相对于背景差分算法，由于采用相邻帧进行内容的比较，对光线、天气等场景变化的敏感性低，对动态变化的环境有较强的适应性，算法具有较好的鲁棒性与稳定性。

3 利用相邻帧减算法检测关键帧

考虑到现阶段监控视频图像的特点，直接通过相邻帧减算法从监控视频中提取运动对象具有较高的算法复杂度，算法的实时性与鲁棒性都比较差，容易受到背景变化、光照条件变化等因素的影响，导致运动对象提取的结果难以达到视频侦查应用的实际要求。虽然常规的相邻帧减算法不能很好地解决监控视频中运动对象提取的问题，但是通过对相邻帧减算法运算结果的分析不难发现，相邻帧减算法能够较好地捕捉到监控视频中快速的内容变化。因此，从视频侦查的实际需要出发，去除监控视频中的冗余数据，提取包含有关键事件相关信息的图像帧，可以大大地提高视频侦查工作的效率。通常可以将监控视频中与案件密切相关，包含有犯罪嫌疑人、车辆等物品体貌特征、行为特征及行动轨迹的图像帧定义为关键帧。如图1所示为基于相邻帧减算法的关键帧检测技术的流程图。

图1 基于相邻帧减算法的关键帧检测技术流程图

如图1所示，基于相邻帧减算法的关键帧检测技术大致可以分为图像预处理、帧减运算和阈值比对三个基本的操作流程。相邻帧减算法中参与减法运算的视频帧首先必须为以时间为坐标连续的两幅视频图像帧；其次，除了视频当中的首帧和尾帧以外，监控视频中的每一个视频帧都应该参与两次帧减运算；并且上一次运算中作为待检测帧的图像帧在完成一次运算之后作为参考帧立即进入下一次运算。通过上面的比较可以看出，与背景差分算法相比，参与相邻帧减算法的视频帧中没有相对固定的视频帧，两幅视频帧在关键帧检测过程中不断的发生交替变换，计算过程对于视频内容的变化十分敏感，因此可以实时的反应视频内容中可能存在的各种微小变化。

与一般的视频资料不同，监控视频通常具有固定的监控区域，视频拍摄参数等特征也相对稳定，比较容易对视频内容进行滤波处理，因此可以利用相邻帧减算法来检测监控视频中存在的内容变化，实现对监控视频中关键帧的检测与定位。可以利用公式（3）判断当前帧是否为关键帧的重要依据：

式中，bin[…]表示对差值图像进行二值化处理；Tdk表示相邻帧减算法中判别当前的带检测帧是否关键帧时所使用的关键阈值；fk（si），i=1，2，…nk表示从监控视频中检测得到的关键帧序列。

从技术流程图的描述中可以看出，关键阈值Tdk的选取直接决定了相邻帧减算法的准确度和执行效率，也决定了关键帧提取的数量多少，这里用Tdk的变化来说明关键帧序列的变化。可以根据监控区域的特点、要求灵活的选择适合的背景帧和关键阈值。具体的关键帧判断规则可以分别两种，计算差值图像亮度累加和或差值图像二值化处理之后所有前景像素数目(二值图像中取值为1的像素数目)，然后与设定的关键阈值进行比对，最后根据比对的结果判断参与运算的当前图像帧是否为关键帧。

令fr（x，y）表示差值图像，可以利用下面的公式计算差值图像fr（x，y）中像素亮度的累积和：

式中，Isum表示大小为M×N的差值图像的亮度累加和。

令表示差值图像二值化后得到的二值图像，它满足下面的公式:

4 仿真实验

为了验证本文提出的基于相邻帧减算法的关键帧检测技术的有效性，使用某段监控视频作为实验数据，进行了算法的仿真实验。仿真实验采用Matlab7.9.0（R2009b）作为仿真实验平台。

首先看一下如图2所示的从上述监控视频中截取的三幅连续的关键帧图像。图中的关键帧图像分别包含了快速行驶的车辆和骑自行车的行人（红色标注区域）。

图2 监控视频中的关键帧

利用相邻帧减算法进行计算，得到如图3所示的相邻帧差值图像及其二值化后的图像。

如图3所示，利用相邻帧减算法得到的差值图像及其二值化图像中能够明显地观察到汽车的轮廓，可以用来作为判断关键帧的一个标准。而视频画面中骑自行车的行人(红色标准区域)则无法通过相邻帧减算法的结果图像进行检测。上述实验结果表明相邻帧减算法适合于低速运动背景下高速运动物体的检测，特别适合于道路监控中对于包含有高速运动车辆的监控视频关键帧的检测。

图3 相邻帧差值图像及其二值化图像

5 结论

本文提出了一种基于相邻帧减算法的监控视频关键帧检测技术，并给出了详细的技术原理与实现步骤。实验表明，本文提出的技术，能够快速准确地检测监控视频中的关键帧，丰富了现有的视频侦查技术手段，同时也进一步提高了视频侦查的实时性与准确性。

[1]陈刚，续磊.视频监控图像侦查方法研究[J].中国人民公安大学学报（社会科学版），2012，28（3）.

[2]孙鹏，张洪君，杨洪臣.利用背景差分法检测监控视频中的关键帧[J].警察技术，2013，（3）.

[3]孙鹏，周纯冰，杨洪臣，等.监控视频关键帧动态背景差分检测技术[J].警察技术，2013，（5）.

[4]李波，姚春莲，李炜，等.利用相邻帧和背景信息的运动对象检测[J].电子学报，2008，36 (11).

（责任编辑：孟凡骞）

TP391.4

A

2014-4-23

公安部应用创新计划项目（编号：2012YYCXXJXY129）；公安部重点研究计划项目（编号：012ZDYJ XJXY17）；国家级大学生创新训练计划项目（编号：201210175069）。

孙鹏（1978-），男，辽宁沈阳人，中国刑警学院声像资料检验技术系副教授，博士，主要从事图像取证、视频侦查研究。