基于DSP多源视频配准的网络监控设计

任思阳

摘要：针对低照度、雾霾情况下的视频信息有限，实时性要求高等问题，提出基于DSP的嵌入式实时视频配准和网络编码传输方案。该系统以DM642开发板为硬件平台，使用TI官方DSP/BIOS实时嵌入式系统。通过红外与可见光摄像头实时采集图像数据，采用基于SURF算法的图像配准，计算Hessian矩阵确定对应匹配点对，通过矩阵插值获得最后配准图像。该方法速度快，满足实时配准需要，在配准后实现了H.264算法的实时视频的编码压缩、解码传输以及通过网络进行发送。

关键词：配准；DM642；H.264编码；网络传输

中图分类号：TN919.81 文献标识码：A 文章编号：1007-9416（2017）11-0131-02

视频监控应用广泛，本系统采用H.264 编码标准，具有抗误码率强、压缩比例大等优点，通过网络进行传输。常见的视频监控在低照度的傍晚、夜间或者雾霾天气远距离观察情况下，作用距离和观察效果受气候影响较大，如果能将红外与可见光的图像信息进行配准，增加了所包含的信息量。本系统提出基于SURF算法做图像配准，首先用SURF算子得到特征點，然后计算两幅图Hessian矩阵迹的正负性比较异同号来匹配兴趣点，然后通过多项式变换求出变换矩阵，最后通过插值法获得最终配准图像。

1 系统的硬件及工作流程设计

DSP的VP1、VP2视频端口通过两片视频解码芯片和可见光与红外摄像机获得数据。输入的模拟信号经A/D转换，形成两路BT.656格式的数字信号，单帧视频图像经SURF算法实现图像配准，得到的配准结果再由H.264压缩算法处理，经EMAC模块接到片外网络芯片，通过网口传送到PC机，在IE浏览器中看到通过网络传给PC的配准视频，完成整个过程。

1.1 存储器模块

在DSP工作过程中，有3级存储模块，L1、L2与SDRAM模块。本系统中使用了两片64位数据宽度的SDRAM，用来作为DSP片内存储的外扩。

1.2 双通道输入输出模块

视频双通道输入模块是对输入的PAL制式视频通过双通道同时序标定并A/D转换。从VP1与VP2端口得到的模拟信号分别在SAA 7113H内部经过A/D 转换、亮度、色度分离之后，转换成BT.656标准数据流， 输入到处理任务单元中进行视频数据的配准和单帧编码。

1.3 以太网模块

在DM642内部集成三大网络模块。EMAC控制模块：EMAC控制模块是DSP内核与MDIO模块的通信控制，通过DSP的存储器传输控制器来读取L1、L2与外部存储器的数据并且支持百兆的全双工数据传输。

2 系统的软件设计

2.1 数据流程框图（如图1所示）

两片解码芯片的BT656标准图像数据被采集到输入缓存Cache， 由色差信号重采样分离为YUV 4∶2∶0格式。在任务处理单元，先对两帧图像进行快速配准，对配准后的单帧视频图像进行H.264标准编码压缩，发送压缩后的文件到网络单元并同时建立网页Java文件。同时序，压缩数据发送到编码器，编码器产生一个YUV 4∶2∶0 的图像，送到输出任务模块。转换成YUV 4∶2∶2格式的图像送至SAA7121H编码处理并显示。

2.1.1 视频配准： 特征提取

特征点检测需要计算矩形区域内像素和，通过三个加减法就可以计算出这幅图像中任意矩形的像素和，这是SURF算法中重要的一步。在计算SURF算法中重要的Hessian矩阵的ΔH的值，计算公式如下：

用Hessian矩阵求出极值，在27个邻域空间内采取对比法，当前区域内极大值要比26个领域范围内相似度都高，将此点作为特征点。SURF 算法具有旋转因子不变性，计算得到Haar小波的响应系数，在60°的扇形区域内求x和y方向上的系数之和，构建向量中最长向量的方向为特征点主方向。确定向量主方向后，构造一个以特征点为中心、边长为 20δ、主方向的正方形子区域，把所有矢量V连在一起就得到了64维的向量描述子。

2.1.2 特征的匹配

在SURF算法中计算了Hessian矩阵的行列式，将两个Hessian的迹比较，同号则有相似的对比度，异号则不相似，放弃后续的计算，节省算法运行的时间。在特征匹配后，选用多项式积变换法作为配准的变换模型，可用（2）式得到变换模型：

得到的特征点对后，采用最近邻域法完成变换矩阵的插值运算，该算法结构简单，插值速度快，满足视频图像实时配准的需要。

2.2 DSP/BIOS嵌入式实时操作系统

系统采用TI官方推出的RF-5框架来结合SURF配准算法与H.264标准编解码库。DSP/BIOS实时内核大体由三部分组成：多线程RTOS内核；实时分析工具；芯片支持库。利用开发程序对DSP及片上资源初始化， 外部存储器接口模块的CE0和CE1两页设置为高速缓存读取，建立和启动双通道BT656数字采集和回放通道。

3 系统调试与试验结果

实验在雾霾天进行拍摄，场景包含近处的屋顶、积雪、远处的街道与雾霾后面的高楼。红外相机能够拍摄到具有显著特征的高楼建筑，但图像背景模糊，可见光图像中近景清楚，但远景物体看不见。可见光视频源如图2，红外视频源如图3所示。

在配准效果图中，既可以看见可见光视频源中的白色积雪，也能看见远处雾霾后的高楼群，达到了比较好的配准效果。经显示屏回显的配准传输视频如图4，经以太网传输的配准视频如图5可见。

4 结语

本文对基于DSP硬件平台的RTOS内核的嵌入式配置，H.264图像压缩算法的应用，完成多源视频配准以太网传输监控的分析研究并实现了多源视频的配准压缩编码、解码和以太网传输。endprint

參考文献

[1]朱婧雅，王中元. 基于相似场景的低照度监控图像增强[J].计算机应用与软件，2015，32（01）：203-205+210.

[2]刘卫光，郭师红，周利华. 红外与可见光图像实时配准融合系统[J].红外技术，2004，（05）：66-71.

[3]章为川，程冬，朱磊. 基于各向异性高斯核的多尺度角点检测[J].电子测量与仪器学报，2012，26（01）：37-42.

[4]刘永峰. 基于远程视频监控的嵌入式系统的研究与设计[D].国防科学技术大学，2005.

[5]黄如昌，李国星. 基于DSP的多路视频信号采集模块设计[J].中国科技信息，2017，（11）：74-75.

[6]刘波，赵于前，刘彬旭. 基于SURF特征与边缘信息的图像配准[J].中国医学物理学杂志，2011，28（06）：3000-3003+3024.

Abstract：Aiming at the problem of limited video information and high real-time requirement under low illumination and haze conditions， a real-time video registration and network coding transmission scheme based on DSP is proposed. The system uses DM642 development board as the hardware platform， and uses TI official DSP/BIOS real-time embedded system. The image data are collected in real time by infrared and visible camera. Image registration based on SURF algorithm is used to calculate Hessian matrix to determine the corresponding matching points. Finally， the final registration image is obtained through matrix interpolation. The method is fast and real-time registration. After registration， the real-time video coding， compression， decoding and transmission of H.264 algorithm and the transmission through the network are realized.

Key Words：Registration；DM642；H.264 coding；network transmissionendprint