移动通信模式下压缩感知视频检测技术及其目标重构

詹瑾++赵慧民++傅仁轩

【摘 要】为了解决移动通信视频监控的目标追踪问题，提出一种新的空间域视频压缩感知模型，该模型首先通过测量矩阵获取视频少量样本值，然后通过该样本值同时重构运动目标、背景和视频序列，最后通过视频序列估计得到一个置信图，可以进一步提高目标的重构质量。大量的实验证明，该模型与典型的空域检测技术比较，能够降低视频检测的数据量，并有效地重构视频目标，且对运动干扰具有更好的鲁棒性。

压缩感知 视频检测 目标重构 鲁棒性

1 引言

随着传感器网络在视频监控中的广泛应用，有限通信带宽条件下的高分辨率视频获取技术成为多媒体研究的焦点。

移动通信中，通常检测运动目标的方法是背景消除法（BS，Background Subtraction）[1]，它首先估计背景模型，然后通过该模型比较视频帧以检测运动目标。当处理实际的视频监控序列时，BS遇到许多挑战，如光照的变化、运动干扰等[2]。最近，Tsai等[3]利用独立成分分析（ICA，Independent Component Analysis）提出一种快速背景消除方案。这个方案在室内视频监控环境下能够容忍光照的变化。在动态复杂环境下，Zhang等[4]提出了一种内核相似性模型（KSM，Kernel Similarity Modeling）的目标检测方法，但这个方法仅对简单的干扰是鲁棒的。在动态背景下，Kim等[5]在文献中提出一种基于模糊彩色直方图（FCH，Fuzzy Color Histogram）的BS算法用于运动检测，能够最小化背景运动产生的色彩变化。根据背景图像不同的目标会引起频率变化的情况，Chen等[6]提出一种分层背景模型。同时，Han等[7]根据颜色、梯度和类Haar空时特征变量的统计条件，提出一种分块背景模型，它对光照和阴影的影响都是鲁棒的。

上述BS算法都在空域操作，但需要大量的训练序列估计背景模型。因此，这种模型估计增加了计算成本，实际上限制了BS算法在多媒体传感器网络中的应用。

最近提出的CS（Compressive Sensing）[8-10]理论说明，如果信号是稀疏的，它能够通过远小于Nyquist采样率获取的少量随机测量值高概率恢复原始信号。CS能够降低复杂性的同时对图像进行采样和压缩处理，因而它具有降低视频编码器运算成本的优越性[11]。因此，我们认为CS是视频信号检测的较好方案。早期运用CS进行运动目标检测的方式是通过图像背景的测量值来训练目标轮廓，然后再通过训练后的目标轮廓检测运动目标[12]。但该算法需要大量的存储和运算操作，不适合实时多媒体传感器的网络系统。2012年，Jiang等[13]通过感知的CS值提出一种低秩和稀疏分解的目标检测模型。尽管该模型能够适应于有限带宽的多媒体传感器网络，但由于视频序列的小波系数并非稀疏，因而它对干扰和光照非鲁棒。2013年，Yang等[14]基于CS理论提出一种仅需要10%的测量值就能同时恢复视频目标和背景的检测方法。然而，该方法仍然需要小波变换系数实现稀疏分解，因此，在干扰和光照条件下容易产生虚假的目标图像。在文献[15]中，Write等提出一种压缩主成成分追踪的低秩矩阵和稀疏分解的解决方案。该方案在压缩域能够实现运动目标检测。

本文提出一种新的视频压缩感知模型（VCSM，Video Compressive Sensing Model），旨在通过CS测量值研究一种通信情况下新的目标视频方法，并解决视频目标的高精度重构问题。VCSM的主要优点是能用少量的CS测量值，同时重构目标、背景和视频序列，且对运动干扰具有较好的鲁棒性。

2 视频压缩感知模型架构

图1为文献[16]提出的一种三维循环阵列采样视频的实现原理，它能够同时对视频信号进行感知和压缩处理，并具有低复杂性和易于硬件实现的优点。这种方法使用两个步骤实现了视频压缩处理：1）随机卷积。通过原始矢量帧Xt（t=1， 2， …， T）与循环矩阵C卷积产生循环测量值Cxt；2）随机采样。首先应用排列矩阵P对Cxt进行随机产生排列矢量PCxt，然后再应用子采样矩阵St对PCxt进行处理，最后产生一种降维的压缩值矩阵A=StPCxt=[a1， a2， …， aT]。

基于图1的结构，已知测量矩阵A，我们提出采用CS技术重构运动视频的目标和背景。借鉴2009年Candes等提出的一种鲁棒的主成成分分析（RPCA，Robust Principal Component Analysis）模型。该模型通过求解公式（1）的最小化问题，能同时重构视频的目标和背景帧：

（1）

其中，X∈R（MN）×T代表原始视频序列，B和F分别代表视频的背景和目标。但RPCA模型具有两种缺陷，一是不能直接通过A重构B和F；二是目标图像重构仅对稀疏分布的视频帧具有鲁棒性[17-18]。然而，现实世界的视频序列存在运动干扰，很少具有稀疏性。文献[16]利用帧间和帧内的相关性，提出一种三维全局变量（TV3D）的CS视频重构技术。TV3D具有低的复杂性（O（3×MN×T）），其实现模型为：

TV3D （2）

其中，D1，D2分别是一个帧内水平和垂直的差分操作因子，而D3是时间变量差分操作因子。

为了能够从采样后的CS测量值直接检测和重构运动目标，我们结合RPCA和TV3D提出一种新的目标、背景和视频序列重构模型。在CS域，这种模型可以描述为：

（3）

其中，X=[x1， x2， … xT]代表原始視频序列，B=[b1， b2， … bT]为背景，F=[f1， f2， …， fT]为运动目标，Φ为CS域测量矩阵。在公式（3）中，TV3D用于提高视频目标重构的质量。由于公式（3）对可变初始化过程不敏感，因此，X，B，F的初始化矩阵可设置为0矩阵。这样，rank（B）的最小化问题成为NP问题[17]。通过核范数，我们把公式（3）问题变成求解如下问题：

（4）

在公式（4）中，TV3D用于保证低秩计算和稀疏分解的精确处理。为了求解公式（4），我们定义重构的目标、背景和视频序列分别为。由于目标重构对剧烈运动的干扰非鲁棒，Borenstein等[19]利用置信图（confidence map）确定图像区域的原理，提出一种优良的图像分割算法。受此启发，本文使用构造一个置信图并定义置信图为M=[m1， m2， …， mT]， mi∈0， 1；i=1， 2， …， T。在M中，置信图是一个二进制矩阵，其中运动目标的像素位置设置为1，运动干扰的像素位置设置为0。通过使用（这里代表了Hadamard乘积），我们想进一步改善视频目标图像的重构质量。由于运动干扰的重复性和局部集中的特点[20-21]，现实世界的视频监控系统能够用高斯分布模型化[22-23]。本文使用混合高斯模型（MGM，Mixed Gaussian Model）来估计受运动干扰后像素影响的强度分布[22]：

（5）

这里f（xij）代表的第i列第j个像素xij的概率密度函数，ω是MGM的加权值，?x和σx分别是置信图算法估计得到的均值和标准方差，?p和Σp为xij的粒子轨迹矩阵估计得到的均值和协方差矩阵[22]。粒子轨迹矩阵Σp可通过Lagrangian粒子轨迹矩阵移位法实现[24-25]，主要用于获取运动干扰引起的像素偏差。

基于公式（5），本文中置信图的实现流程如下：

（1）使用公式（5）估计每个像素的概率密度f（xij）；

（2）设置门限阈值θ，判断哪些像素属于运动干擾或运动目标值；

（3）如果f（xij）>θ，则像素xij=1；否则，xij=0。

重复以上过程，得到的二进制矩阵即为实现的置信图M。

3 视频目标图像的重构算法

在公式（4）中，视频压缩的过程可以描述为αt=Φxt。由于使用P，C和St（t=1， 2， …， T）产生了压缩测量矩阵A（如图1所示），因此，我们应用特殊形式rt=Cxt和StPrt=αt替代ΦX=A，则公式（4）可以写为：

（6）

这里，R=[r1， r2， …， rT]是循环测量矩阵。对于公式（6）的实现，每次迭代需要两步进行。第1步，算法重构原始视频X；第2步，分割背景和目标。为了重构X，求解公式（7）：

（7）

采用扩展拉格朗日乘法器（ALM）[26]求解公式（7），可以得到：

（8）

这里，λi和ν是拉格朗日乘法器矩阵。可见，公式（8）可替代公式（7）求解。因此，ALM通过迭代拉格朗日函数和更新拉格朗日乘法器能够解决公式（8）的最小化问题。其实现过程如下：

（9）

（10）

（11）

注意到，直接求解公式（9）很困难，因此，有：

（12）

（13）

（14）

公式（12）子问题的求解如下：

（15）

其中，Sα（·）代表软阈值操作因子，它被定义为：

Sα（x）=sign（x）×max{|x|-α，0} （16）

其中，α表示条件软阈值大小。

接着，我们通过如下步骤求解公式（13）子问题[16]：

（17）

（18）

公式（18）中PicSt是St选择的CS测量值索引，rt是矩阵R的第t列值。对于公式（14），X可通过解二次方程式求解。固定Xk+1，求解公式（19）重构B和F：

（19）

公式（19）的扩展拉格朗日函数可以表示为：

（20）

公式（20）中，Y是拉格朗日乘法器矩阵，<·，·>代表了矩阵内积。使用ALM算法求解公式（20）中的最小化问题如下：

（21）

（22）

类似地，使用替换策略求解公式（21）中的每个元素的最小化如下：

（23）

（24）

综合以上求解过程，视频目标检测及其重构算法的整个过程如图2所示：

在上述算法中，置信图M，

Dα（·）是矩阵Z的奇异值收缩因子，并定义为Dα（Z）=USα（Σ）VT。其中，U和V是实单位矩阵，∑是正则化对角矩阵。Sα（·）为矩阵∑的软阈值操作因子。

4 实验结果分析

为了量化算法的实现性能，视频目标的检测精度利用F范数-测量值表示，并定义：

F测量=2×（精度×重构率）/（精度+重构率） （25）

其中，精度和重构率为：

精度=TP/（TP+FP），重构率=TP/（TP+FN） （26）

其中，TP、FP以及FN分别表示实正数、假正数以及假负数。F-测量值越高，表示视频检测精度的效率越好。表1列出了算法实现时的主要设置参数：

在实验中，我们对提出的VCSM和RPCA模型以及典型的基于背景消除算法的改进混合高斯模型（GMM）[29]进行了比较。VCSM、RPCA和GMM均在空域实现，所有的实验使用HP计算机实现（EliteDesk 800 G1 SFF；Intel（R）Core（TM） i7_4790 CPU @3.60 Hz 3.6 GHz；安装内存：4.00 GB；系统类型：64位）。

为了和GMM比较，我们给出一种目标重构的突出比较形式。实验选择4种室内视频序列（机场大厅176×144×30，候机室160×128×30，餐厅160×120×30和商场大厦320×256×30）作为测试对象进行性能评估。实验结果如图3所示。可以看到，VCSM仅需要CSR=0.2的测量值就能实现RPCA和GMM方法类似的视频效果。

最后，我們选择一组实际的户外视频进行实验，进一步说明算法的实现效果。图4随机选择4帧图像进行实验，包含阴影和摄像机抖动干扰。从图4（b）可以清晰地看到，VCSM方法能比较准确地区分目标的轮廓形状，且能完全地消除摄像机抖动干扰。而RPCA和GMM两种方法都不能给出目标的清晰效果。

5 结论

本文提出一种基于CS技术进行视频序列检测和运动目标重构的实现模型（VCSM），该模型能够通过少量的测量值实现鲁棒的目标、背景和原始视频重构。其中，重构的视频序列可通过估计获得的置信图进一步提升运动目标的重构效果。大量的实验结果表明，与典型的空域方法如RPCA、GMM比较，提出的VCSM方法对室内和室外视频均有较好的检测和目标重构性能，且仅需要更少的数据量。尤其对于室外视频序列，VCSM可以有效地消除运动干扰（如树枝摇动、喷池水和视频摄像机噪音等）。VCSM最大的问题是，算法求解核范数时计算复杂性较高。因此，未来我们将使用云计算及其在线并行技术实现VCSM对运动目标的视频分析。

参考文献：

[1] O Barnich， M Van Droogenbroeck. ViBe： A Universal Background Subtraction Algorithm for Video Sequences[J]. IEEE on Image Processing， 2011，20（6）： 1709-1724.

[2] Brutzer， B Hoferlin， G Heidemann. Evaluation of Background Subtraction Techniques for Video Surveillance[C]//IEEE. IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， 2011： 1937-1944.

[3] T Du-Ming， L Shia-Chih. Independent Component Analysis-Based Background Subtraction for Indoor Surveillance[J]. IEEE Transactions Image Processsing， 2009，18（1）： 158-167.

[4] Z Baochang， G Yongsheng， Z Sanqiang， et al. Kernel Similarity Modeling of Texture Pattern Flow for Motion Detection in Complex Background[J]. IEEE Transactions on Circuits and Systems for Video Technology， 2011，21（1）： 29-38.

[5] K Wonjun， K Changick. Background Subtraction for Dynamic Texture Scenes Using Fuzzy Color Histograms[J]. IEEE Signal Processing Letters， 2012，19（3）： 127-130.

[6] S Chen， J Zhang， Y Li， et al. A Hierarchical Model Incorporating Segmented Regions and Pixel Descriptors for Video Background Subtraction[J]. IEEE Transactions on Industrial Informatics， 2012，8（1）： 118-127.

[7] H Bohyung， LS Davis. Density-Based Multifeature Background Subtraction with Support Vector Machine[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012，34（5）： 1017-1023.

[8] R Baraniuk. Compressive Sensing[J]. IEEE Signal Processing Magazine， 2007，24（4）： 118-121.

[9] DL Donoho. Compressed Sensing[J]. IEEE Transactions on Information Theory， 2006，52（4）： 1289-1306.

[10] EJ Candes， MB Wakin. An Introduction To Compressive Sampling[J]. IEEE Signal Processing Magazine， 2008，25（2）： 21–30.

[11] J Ma， G Plonka， MY Hussaini. Compressive Video Sampling with Approximate Message Passing Decoding[J]. IEEE Transactions on Circuits & Systems for Video Technology， 2012，22（9）： 1354-1364.

[12] V Cevher， A Sankaranarayanan， M Duarte， et al. Compressive Sensing for Background Subtraction[C]//Springer Berlin Heidelberg. European Conference on Computer Vision（ECCV）， 2008： 155-168.

[13] H Jiang， W Deng， Z Shen. Surveillance Video Processing Using Compressive Sensing[J]. Inverse Problems Imaging， 2012，6（2）： 201-214.

[14] F Yang， H Jiang， Z Shen， et al. Adaptive Low Rank and Sparse Decomposition of Video Using Compressive Sensing[C]//IEEE. IEEE International Conference on Image Processing （ICIP）， 2013： 1016-1020.

[15] J Wright， A Ganesh， K Min， et al. Compressive Principal Component Pursuit[J]. Information Inference， 2013，2（1）： 32-68.

[16] X Shu， N Ahuja. Imaging Via Three-dimensional Compressive Sampling（3DCS）[C]//IEEE. IEEE International Conference on Computer Vision （ICCV）， 2011： 439-446.

[17] B Bao， G Liu， C Xu， et al， Inductive Robust Principal Component Analysis[J]. IEEE Transactions Image Processsing， 2012，21（8）： 3794-3800.

[18] EJ Candes， X Li， Y Ma， et al， Robust Principal Component Analysis[J]. J ACM， 2009，58（1）： 1-37.

[19] E Borenstein， E Sharon， S Ullman. Combining Top-Down and Bottom-Up Segmentation[C]//IEEE. Conference on Computer Vision and Pattern Recognition Workshop， 2004： 46-50.

[20] M Shimizu， S Yoshimura， M Tanaka， et al. Super-resolution from Image Sequence under Influence of Hot-air Optical Turbulence[C]//IEEE. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2008： 1-8.

[21] O Oreifej， G Shu， T Pace， et al. A Two-stage Reconstruction Approach for Seeing Through Water[C]//IEEE. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2011： 1153-1160.

[22] O Oreifej， X Li， M Shah. Simultaneous Video Stabilization and Moving Object Detection in Turbulence[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2013，35（2）： 450-462.

[23] C Stauffer， WEL Grimson. Adaptive Background Mixture Models for Real-time Tracking[C]//IEEE. IEEE Computer Society Conference on Computer Vision and Pattern Recognition， 1999： 252-256.

[24] W Shandong， O Oreifej， M Shah. Action Recognition in Videos Acquired by A Moving Camera Using Motion Decomposition of Lagrangian Particle Trajectories[C]//IEEE. IEEE International Conference on Computer Vision （ICCV）， 2011： 1419-1426.

[25] S Wu， BE Moore， M Shah. Chaotic Invariants of Lagrangian Particle Trajectories for Anomaly Detection in Crowded Scenes[C]//IEEE. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2010： 2054-2060.

[26] W Yin， S Morgan， J Yang， et al. Practical Compressive Sensing with Toeplitz and Circulant Matrices[J]. Visual Communications and Image Processing， 2010.

[27] H Yao， Z Debing， Y Jieping， et al. Fast and Accurate Matrix Completion Via Truncated Nuclear Norm Regularization[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2013，35（9）： 2117-2130.

[28] X Zhou， C Yang， Y Weichuan. Moving Object Detection by Detecting Contiguous Outliers in the Low-rank Representation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2013，35（3）： 597-610.

[29] Z Zivkovic. Improved Adaptive Gaussian Mixture Model for Background Subtraction[J]. International Association for Pattern Recognition， 2004（2）： 28-31.