基于人机交互和网络传输的智能视频监控系统研究

苏志贤,马春飞

浙江安防职业技术学院,浙江温州325016

基于人机交互和网络传输的智能视频监控系统研究

苏志贤,马春飞

浙江安防职业技术学院,浙江温州325016

将网络传输技术和视频自动分析技术应用于网络视频监控系统，设计出一种基于监控终端、网络传输、中心服务器和客户端4个部分组成的智能视频监控系统。通过标定、TCP/RTP协议以及滤波器图表结构，实现良好的扩展性和重复性。

人机交互;网络传输;目标检测;智能视频监控系统

随着多媒体、网络技术、人工智能以及光电图像分析和图像处理等技术的快速发展，视频监控技术朝着智能化、数字化和网络化的方向发展[1]。与传统的视频监控技术相比较，智能视频监控能够根据原始视频形成高层的语义解释，将人工伺服变成主动识别，将事后分析变成事中分析和预警，并且能够动态的监控被监控对象的行为，进行识别和跟踪。智能视频监控的优点是传统视频监控技术所无法企及的，因此，设计一款高效、可靠的智能视频监控系统具有重要的理论和实际意义。

1 系统结构

1.1 人机交互

为了实现计算机和人之间的优势互补，通过将人类的良好的整体效应的定性认识能力和计算机强大的逻辑表达能力和推理能力结合起来，通过计算机和人之间的定性和定量表达，最终实现算法优化的方法，叫做人机交互[2]。

1.2 设计目标

基于人机交互和网络传输的智能视频监控系统的设计目标：结合当前的模式识别技术和计算机视觉技术，对采集获取的实时视频数据进行分析，在不需要人为干预的情况下，实现被监控对象的定位、识别和跟踪，同时能够在发生异常情况是进行预警或预报。在当前网络数字视频监控技术的基础上，构建出智能视频监控系统，并将其应用于有安全监控需求的环境和区域，如学校、医院、机关单位、监狱、公共场所等等。其系统结构如图1所示。

图1 智能视频监控系统结构图Fig.1 The structure of intelligent video surveillance system

1.3 硬件结构

该智能视频监控系统的核心控制器为TMS320F2812 DSP[3]，其硬件系统结构图如图2所示。

图2 硬件系统结构图Fig.2 The structure of hardware system

由图2系统件结构图可知，智能视频监控系统由摄像机、信号预处理、网络数据通讯模块、上位机监测系统和基于TMS320F2812 DSP核心处理器的外围电路组成。通过摄像机，可以实时采集实时视频监控数据，之后将预处理的数据传送到TMS320F2812 DSP的ADC转换接口，实现数据格式转换并进行数据存储，通过监测器可以进行实时监控、分析和预警。

2 智能视频监控系统设计与实现

由智能视频监控系统结构图可知，该系统由监控终端、传输网络、中心服务器和客户端等四个部分组成。监控终端主要实现视频的采集和处理；传输网络主要实现采集到的视频数据的传输；中心服务器主要实现视频流的存储和转发以及相应的命令控制。客户端主要实现视频的监控、播放、定位、识别、追踪和预报或预警。

2.1 客户端

客户端的主要作用是便于用户和中心服务器的交互，获取智能视频监控系统监控终端的实时视频数据。通过DirectShow技术[4]，客户端可以将中心服务器RTP转发来的实时视频数据进行解码和播放。客户端的预警信息则通过TCP协议进行。

图3 客户端和智能信息处理模块Fig.3 The processing module of client and intelligent information

客户端和智能信息处理相关部分包括分析设置模块、监控计划模块和实时视频播放模块(图3)。

（1）分析设置模块：其是组成智能视频监控系统的重要部分，也是体现监控系统是否智能化的关键所在[5]。若不能实现摄像机的分析设置，则采集到的实时视频将无法分析和处理，产生相应的预警信息和报告。分析设置模块包括标定、预警设置和目标行为分析设置，目的生成分析参数通过传输网络将数据存储于中心服务器。

标定作用是为了提高监控视频分析程序的准确性。通过预警设置可以实现各种环境和情景的预警，其设置的参数主要有环境类型、目标类型和预警分类。其中环境类型主要分为白天、黑夜、室内和室外4中情形的组合选择。目标类型主要为人、汽车、动物、自行车等，在此基础上可以扩展。预警分类根据需要设置警戒区、警戒线、侦查区、警戒方向和非警戒区等类型[6]，预警分类可以结合目标类型进行预警。

（2）监控计划模块：监控终端的摄像机我们可以设置多种视频分析方案，根据监控对象和场景的改变，应用合适的视频分析方案。文中系统监控计划包括默认计划、周期计划和一次性计划。

（3）实时视频播放模块：客户端要实现实时视频的播放，必须先构建出一个过滤器结构图表。该结构图表由XVID Multicast receiver filter、XVID Video decoder filter和Video rendering filter三个滤波器串联构成。XVID Multicast receiver filter实现中心服务器RTP协议转发来的视频压缩包进行组包还原。XVID Video decoder filter实现数据的解码，Video rendering filter实现视频的渲染播放[7]。由这个过程可知，智能视频监控系统从客户端的角度来看，就是视频采集、压缩、解压和播放的过程。

2.2 中心服务器

中心服务器主要作用就是实现监控终端和客户端的交流，分析单元根据采集到的不同视频进行多方案视频处理，将分析单元压缩的视频数据，通过RTP协议传送给客户端，客户端实现组包解码和播放并进行预警。中心服务器和分析单元和客户端的传输信息网络结构图如图4所示。

图4 网络信息传输结构图Fig.4 The transmission structure of network information

2.3 分析单元

分析单元是视频分析的关键部分，其包括目标检测、目标跟踪和分类以及预警信息。目标检测的流程如图5所示。

（1）目标检测：根据视频画面的监控区域将图像中的目标物体提取出来的过程。目标检测的方法主要有光流法、时间差分法和背景减除法。文中以人为研究事例，选择背景减除法[8]，检测结果如图6所示。

图5 人体姿态Fig.5 Human postures

图6 人体姿态检测结果Fig.6 The detection results of human posture

（2）目标跟踪：根据目标物体的运动特征和轮廓实现目标物体的跟踪，文中采用Mean-shift算法[9]进行多目标跟踪。文中选择车辆为跟踪目标，跟踪结果如图7所示。

图7 车辆跟踪结果Fig.7 The tracking results for vehicles

（3）行为分析：结合目标检测、目标跟踪结果以及警告图片信息[10]，对被检测对象进行行为分析，对分析结果进行预警分析和提醒，文中选择短信提醒预警结果为事例，结果如图8所示。

图8 短信报警结果图Fig.8Results from SMS alarm

3 系统实验

智能视频监控系统的性能主要受到分析单元的处理速度的影响，用处理一帧图像耗费的时间作为系统的评价结果，其评价结果如表1所示。由分析结果可知，整个智能监控系统所耗费的时间主要集中在目标检测和背景更新，耗费时间占到整个系统耗费时间的一半以上，因此选择优秀的目标分割和检测方法，对提高系统效率至关重要。

图9 短信监控终端界面Fig.9 SMS monitoring terminal interface

表1 耗费时间（ms）Table 1 Time consuming(ms)

4 结论

针对传统系统监控系统存在的缺点，将人机交互和网络传输技术结合应用于智能视频监控系统，设计出一款满足现实需求的智能视频监控系统。将网络传输技术和视频自动分析技术应用于网络视频监控系统，设计出基于监控终端、网络传输、中心服务器和客户端4个部分组成的智能视频监控系统。通过标定、TCP/RTP协议以及滤波器图表结构，实现智能视频监控系统构建，实验结果表明，该系统具有很好的扩展性和重复性，可以推广。

[1]黄凯奇,陈晓棠,康运锋,等.智能视频监控技术综述[J].计算机学报,2015,20(6):1093-1118

[2]闫彬,陈耀武.基于内容的智能视频监控文件系统[J].计算机工程,2015,41(10):250-254

[3]张谢华,赵小虎.煤矿智能视频监控中的运动目标检测研究[J].工矿自动化,2016,42(4):31-36

[4]徐海刚,李朋伟.智能视频监控系统中多视角目标跟踪研究与FPGA实现[J].现代电子技术,2016,39(17):6-11

[5]李小斌,吴宏岐,袁战军,等.智能视频监控系统关键技术及算法研究[J].控制工程,2016(S1):18-22

[6]杨海林,蔡启忡,薛圣利,等.基于改进的VIBE算法在铁路智能视频监控入侵检测的研究[J].科学技术与工程,2016,16(21):80-82

[7]孙宁,陈梁,韩光,等.深度分类网络研究及其在智能视频监控系统中的应用[J].电光与控制,2015(9):77-82

[8]许慧芳,许亚军.智能视频监控系统中多摄像头协同跟踪算法[J].电视技术,2015,39(18):86-89

[9]屈宝鹏,张喜凤,卜文锐.基于ATMEGA328的视频监控智能车的设计与实现[J].现代电子技术,2015,38(19):160-162

[10]吴禄慎,吴益根.基于ARM9的自适应背景差法智能远程视频监控系统[J].仪表技术与传感器,2015(11):81-84

Study on Intelligent Video Surveillance System Based on Human -Computer Interaction and Network Transmission

SU Zhi-xian,MAChun-fei
Zhejiang Institute of Security Technology,Wenzhou325016,China

The network transmission technology and automatic video analysis technology were applied to network video monitoring system to design an intelligent video monitoring system with composition of the monitoring terminal,network transmission,center server and the client.Through calibration,TCP/RTP protocol and filter graph structure,it could get the good expansibility and repeatability.

Human-computer interaction;network transmission;target detection;intelligent video surveillance system

TP391.1

:A

:1000-2324(2017)01-0108-05

2016-11-15

:2017-01-04

苏志贤(1988-),男,硕士,讲师,主要研究方向为安全防范技术，电子技术.E-mail:wlsuzhixian@163.com