基于多传感器的警用集群指挥系统

顾 禹,朱 政,李美玲

(中国船舶工业系统工程研究院,北京 100094)

随着经济上行,全国违法活动面宽、线广,不同地区面对的违法活动不同,所面临的执法目标也不同,面对违法活动危险性大,不确定因素多,任务灵活多变等特点,目前国内外执法部门,多采用执法记录仪等单一传感器作为前出传感器获取语音、视频等信息,执法记录仪不具备隐蔽执法,获取警力身体状况的能力,依靠商用4G通信手段作为通信桥梁,依托单一运营商通信,不具备多网融合调度能力,不具备全国大范围执法活动的开展条件。

为此,在现阶段,本着解决急需问题,不搞重复建设的要求,提出一种基于多传感器集成作为信息获取的技术手段,多网融合调度作为指挥桥梁,全域应急指挥作为最终目的集群指挥系统,提升执法部门的整体指挥执法能力。

作者针对执法任务指挥的难点,采用系统工程的方法[1],开展顶层设计,构建一个全集全要素的执法系统。该系统为执法部门在行动阶段提供信息获取、指挥调度、通信保障、后台数据处理分析等能力,从执法部门的装备存量到增量统筹协调设计,满足执法部门长期发展需要,并保证一段时期内的先进性。

1 集群指挥系统工作原理

集群指挥系统采用云服务架构[2],以存储服务器、数据库服务器和计算服务器构成的服务器群为基础,接入视频服务器,应用项目专属研制的公网TD-LTE技术通信服务的多网融合通信调度管理服务器,北斗指挥通信网构成云服务平台[3-4]。在应用层面以搭载不同平台的执法信息处理终端作为客户端,支持开放架构协议,可根据任务需求灵活集成摄像望远镜、智能眼镜、远距离语音获取设备等传感器,集指挥调度,信息通信,信息处理,综合显示,任务规划为一体,通过指挥中心局域网、公网通信网络、北斗通信网络,集成为开放式云服务架构,形成多客户端/多服务器工作模式[5]。

在云服务架构中,客户端可灵活分配,客户端数量根据执法需求增加或减少,客户端功能通过加载或运行不同的显控程序配置为不同用途的执法终端,原理如图1所示。

图1 集群指挥系统工作原理

2 集群指挥系统软件架构设计

集群指挥系统软件开发的总体架构应遵循构件化的架构,其中,核心层采用成熟的商用操作系统、驱动程序、数据库管理系统;中间层采用构件式的控件,链接核心层和应用层,为应用层管理软件、地图影像态势显示软件[6]、信息处理分析软件、视频监控处理软件等提供后台服务;应用层软件可根据实际使用情况,部署在警力模块、车载模块、指挥模块的执法终端、指挥台、视频显示设备、信息处理服务器等如图2所示。

图2 集群指挥系统总体架构

1) 核心层

核心层是系统的公用基础支撑,包括Windows计算机操作系统、Linux服务器操作系统、Android移动终端操作系统、设备驱动程序、Mysql数据库管理系统、安全管理系统等。

2) 中间层

中间层是用户应用开发的基础平台,与应用无关,屏蔽硬件设施和操作系统差异,为用户提供中间件平台(即设备支持中间件),同时为其提供部分公共服务中间件(即通用支撑中间件)。设备支持中间件包括设备管理器、窗口管理及可视化控件、专用操控模块消息中间件、综合图形图像显示、表页显示、故障诊断测试。通用支撑中间件包括态势显示、多层叠加显示、数据访问中间件、消息中间件。

3) 应用软件层

警力模块包括视频、语音通信软件、态势可视化软件、通用集成框架软件、传感器管理软件、通信资源管理软件等。

车载模块包括视频、语音通信软件、态势可视化软件、通用集成框架软件、传感器管理软件、通信资源管理软件、二级权限指挥调度软件、警戒入侵报警软件、人脸识别软件、语音识别软件、警力数据库管理软件、方案拟制软件、故障诊断软件。

指挥模块应用软件包括视频、语音通信软件、基于地图影像系统态势可视化软件、一级权限指挥调度软件、警戒入侵报警软件、人脸识别软件、语音识别软件、警力管理软件、器材管理软件、方案拟制软件。

3 多传感器信息集成设计

本设计采用多种传感器,如摄像望远镜、智能眼镜、智能手环、远程语音获取设备、穿墙雷达探测仪、隔墙侦听设备,由于上述设备均是市场上成熟货架产品,因此需要软件工程师进行二次开发。对涉及传感器进行逐一梳理分析,按照数据传输方式分为USB、有线网口、蓝牙、WIFI。按照数据传输类型分为视频、语音、短消息、定位、指挥命令交互信息等多种数据格式,针对不同传感器的传输方式和数据格式的特点提出多传感器集成技术,设计传感器信息集成模块,以满足多源数据集成使用需求[7-9],如图3所示。

图3 传感器信息集成模块

该模块各个传感器的接口需要进行二次开发,统一设计,接入信息集成模块。将视频统一编码标准的H.264码流和音频流统一转换为PCM格式。将定位信息、指挥命令、生命体征信息等以UDP数据报的格式进行网络分发,确保集群指挥中心各个节点接收,完成信息综合处理,为指挥员任务指挥提供辅助决策支撑。

4 集群指挥系统模块设计

集群指挥系统由指挥模块、车载信息综合处理终端、警力模块组成。警力模块将多种具有特定能力的传感器及设备进行有机组合,通过灵活集成配置,使其具备多种信息侦听获取能力,辅助4G、北斗定位、卫星通信等手段,确保任何地区均可通信,按需定制开发专属软件APP,满足信息获取、态势显示、通信资源管理、视频语音通信,其通常由警力背负;指挥中心分两级,具备一级指挥权限可调度所有资源、器材、人员分配管理,能够拟制任务执行方案,下发任务指挥命令,作为云平台的部署端,提供大数据处理业务,通过有线网接入指挥通信网络,其部署于固定指挥中心;指挥车作为二级指挥权限可调度所属任务警力,通过无线的方式整合多种通信资源,具备视频通信管理、态势显示、指挥调度功能,在与指挥中心断网时,可离线完成视频、数据、人脸识别、语音识别对比等信息分析处理,随时调整任务执行方案,以适应执法行动中突发的各类状况[10]。系统组成如图4所示。

图4 集群指挥系统模块组成

1) 信息获取功能主要由警力和车载模块的各类传感器的信息采集实施,采集执法现场的视频、语音和位置信息,形成执法态势,供指挥决策使用。

2) 指挥功能根据任务配置相应数量及种类平台,搭载在指挥中心、执法车上,根据执法态势,突发情况,可对行动的兵力部署进行任务规划、监控和调度,对行动的执行单元进行指挥。

3) 信息传输功能主要依托公网通信多家运营商、北斗卫星通信,实现通信融合,保障任何天气、环境下均可不间断通信及信息传输的时效性[11]。

4) 信息处理对获取的信息进行人脸识别、车牌识别、语音分析对比,实现信息的有效利用,为指挥员下一步行动提供辅助决策。

5) 建立各类信息库,包括嫌疑犯人脸/语音特征数据库、集群车辆信息库、集群警员基本信息库、任务执行信息库、器材管理信息库等。

5 集群指挥系统工作方式

集群指挥系统的典型工作方式分为指挥工作流程和执法工作流程。

5.1 集群指挥系统指挥工作流程

执法行动指挥调度战位设在指挥模块的指挥中心。在执法行动前,首先根据任务性质、规模进行任务规划,确定参加任务的集群成员,及使用设备并进行设备登录实现身份验证。根据执行任务区域的通信网络信号质量,自适应选择通信信道,确定指挥关系,并进行任务计划传达。各协同警力按照任务规划要求,确立自己身份,建立指挥关系[11]。

执行任务的警力携带综合执法套件,前出到办案区域。根据任务前的设定,若执勤执法车具有二级指挥权限,则对所辖警力通过语音进行指挥,调取所辖警力获得的视频,监视各警力的位置、生命特征参数,掌握执法行动进程。

指挥中心具有一级指挥权限,根据任务规划,实施单级指挥或多级指挥。调取所辖警力获得的视频,监视各警力的位置、生命特征参数,掌握执法行动进程,如图5所示。

图5 集群指挥工作流程图

5.2 集群指挥系统执法工作流程

根据其他来源情报,指挥中心部署兵力,通信调度部署,执法车携警力前出,对执法行动现场进行部署和指挥,警力前出携带单警信息综合处理终端、摄像望远镜、GPS跟踪器、手持雷达生命探测仪、便携式语音信息获取设备、光场相机、穿墙声音探测仪等技侦设备,对可疑人员、可疑车辆进行定位、声音获取、对嫌疑人数量进行侦查、对现场进行跟拍。系统将获取的现场情况及时与执法车、指挥中心进行报告,并将获取的视频、目标位置进行回传。

指挥中心获取视频,识别软件对视频，语音嫌疑人和嫌疑车辆进行识别,与库存嫌疑人及嫌疑车辆进行对比,若数据不存在,可补充数据库,支撑新任务。若存在,确定嫌疑人及嫌疑车辆,通过集群内部视频会议、语音、短消息等手段,调度执法车及单警行动。对光场相机获取的图片信息进行进一步处理,保障执法现场全方位监控。集群执法工作流程如图6所示。

图6 集群执法工作流程图

6 集群指挥系统关键技术

集群指挥系统作为新研系统,具备一定领域创新性,在警用领域应用以下关键技术,解决了不同运营商多网融合问题、多传感器信息集成问题、证据特征提取问题、指挥辅助决策问题。

1) 多网融合调度技术

公网通信受基站及环境影响较大。执法行动常在野外环境,这些地区普遍没有4G基站,或4G基站覆盖不到,终端网络断网或时断时续,语音视频等传输会中断,虽然有北斗作为备用通信手段,但北斗目前仅能传递短报文,当云层较厚时,通信能力影响也较大,极易造成指挥命令不通畅,目前警用执法信息处理终端仅支持双卡双待,不支持三卡,且各个卡之间切换必须手动完成,不能实现网络的自动快速切换,极易造成视频、语音缺失,证据链不完整,应用多网融合调度技术,满足不同网络随时切换,将多个网络接收的信息进行融合处理。

2) 多传感器信息集成技术

由于目前警用信息获取能力单一,装备单机单控,信息接口多样,信息格式多样,虽然获取的证据种类较多，但信息量较大,时效性差,人工检索工作量大,证据提取难度大,不能有效地利用起来,往往不能成为有效证据。为了解决该类问题,同时从多方面、多角度获取完整的证据视频、语音、数据等信息,需要多种传感器配合使用,兼顾实时上传,提出多传感器信息集成技术,统一标准信息格式,满足多种通信方式实时上传,为后端证据提取、行动指挥提供全面辅助决策支撑。

3) 基于深度学习的证据特征提取技术

执法数据信息量大,检索工作量大,实时性要求高,为了提高证据效率,提出基于深度学习算法的证据提取技术,作为指挥中心的核心大脑,实时处理前端警力上报的视频、语音及数据信息,快速提取图像人脸特征、车牌特征、语音特征、人员活动轨迹,关联结构化信息,形成完整证据链,辅助指挥中心快速定位可疑车辆及人员,为下一步行动方案提供决策支撑。

4) 基于地图影像系统的指挥辅助决策技术

现阶段指挥员行动指挥主要依靠协同警力辅助对讲通知、执法记录仪视频回传等手段,指挥效率低,不能实时统筹指挥现场,掌握行动态势,无法实现合理有效指挥,及时堵住嫌疑犯销毁证据,阻断逃跑路线,这对行动的成功影响较大。为解决该类问题,提出集群指挥辅助决策技术,应用地图影像技术,充分利用大数据的证据提取结果,结合执法态势,快速有效下达侦查、追击、抓捕等命令,确保犯罪分子及时归案。

7 结束语

集群指挥系统已完成阶段试用,在开展的专项行动中,实现了其全部的设计功能。结果表明,该系统解决了跨区域,任务复杂多样,不确定因素多,设备集成度低,指挥能力不足的难题,为多重执法行动任务的指挥提供有力支撑。

未来系统升级迭代主要面向人工智能大数据分析处理方向,兼容无人机、无人车等平台,依托5G技术,新一代北斗通信手段,以及先进的人工智能算法等将单警、车载、指挥中心打造成网络化、立体化执法平台,快速提升一线部队的执法自动化水平,具有较好推广价值。