实景全息化与智能识别技术在货场的应用

陈 刚，夏 雷，梁多姿，陈 刚，袁钱芳，叶卫春

（1．中国铁路上海局集团有限公司科技和信息化部，上海 200071；2．高新兴创联科技有限公司，杭州 310013）

1 项目背景

铁路货运是国内主要的货物运输方式之一，铁路货物运输在国内货物运输市场中长期处于主导地位。随着国内经济的高速发展，全社会货物运输需求的持续增长，加上电子商务的迅速发展，使铁路货物运输市场的需求量大量增加，客户对货物运输的时效性、准确性以及服务质量的要求也不断提高。

近年来铁路货场安全事故时有发生，目前货运站场内主要通过人防手段对场内人员、车辆、货物、作业过程等进行管控，信息化、智能化程度水平较低，无论是监管力度还是监管效率都有待提高，各种原因导致的多起违章事故，给人员、财产安全造成较大的隐患。当前部分货场已经部署了视频监控系统，但未充分发挥视频的优势，信息化建设需要进一步优化提升，亟需建设一套实景全息化和智能分析于一体的智能安全管控系统来满足现场安全生产需求。

2 关键技术应用研究

2.1 增强现实技术

增强现实技术(Augmented Reality，AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到同一个画面或空间同时存在。AR 实现需要用到的底层技术包括计算机视觉、虚实融合、人机交互，显示输出等，这些技术是增强现实技术的基础。AR 要进行完美呈现，主要依赖于3 个方面。

1）虚实结合

AR 技术依靠计算机技术构建出文字、图片、视频、音频、网站链接、三维模型、三维动画、全景信息等和物理世界的结合，让物理世界和虚拟对象合为一体。

2）虚实同步

AR 实现虚拟世界和物理世界的实时同步，满足用户在物理世界中真实地感受虚拟空间中模拟的事物，增强用户体验效果。

3）交互自然

可以使用手部动作与手势控制所读出的3D 模型移动旋转，以及通过语音、眼动、体感等更多的方式来与虚拟对象交互。

2.2 基于AR技术的前端感知设备

基于AR 技术的前端感知设备由增强现实云眼摄像机和管理终端组成，如图1 所示。增强现实云眼摄像机内设有视频信息采集模块、地理位置信息采集模块、姿态信息获取模块和视频流处理模块。视频信息采集模块采集监控区域的视频信息，地理位置信息采集模块采集摄像机的地理位置信息，姿态信息获取模块获取摄像机的姿态信息，由视频流处理模块将地理位置信息、视频信息和姿态信息合成视频流，传送到增强现实管理终端。增强现实管理终端对地理位置信息和姿态信息进行图形化处理后，再叠加在实时画面上进行显示。其中，地理位置信息采集模块为GPS/北斗定位模块，姿态信息获取模块为数字罗盘、加速度计等。

图1 前端感知设备Fig.1 Diagram of front-end sensing equipment

2.3 基于AR技术的多信息融合显示

视频流获取模块获取视频流处理模块传送的视频流信息，视频流解码模块进行解码，同时将地理位置信息和姿态信息传送到图形化处理模块进行图形化处理，并叠加在实时视频画面上进行显示。用户也可以通过自定义标签添加模块在显示画面上添加自己感兴趣的信息，并送到图形化处理单元进行图形化处理后，叠加在实时画面上进行显示，实现用户与画面的互动。

2.4 实景全息化

利用安装在货场制高点的增强现实云眼摄像机，并结合AR 技术和视频地图引擎，将云眼摄像机的实时视频画面与视频覆盖范围内的人、车、物、事件等信息以标签标注的形式叠加到画面中形成一张实景地图。同时，接入既有业务系统的视频、图片、音频、文本等信息，实现货场实景全息化。

2.5 智能识别技术

视频智能算法服务基于图像处理和深度神经网络技术识别视频。图像处理是以识别各种模式的目标和对象的技术，并对质量不佳的图像提供一系列的增强和重建技术手段。深度神经网络由多层神经网络层构成，具有学习能力强、适应性好、逐层表征图像抽象特征、端到端训练等优点，在视频智能识别中被广泛应用。图像处理技术和深度学习结合构成了智能识别算法服务技术。系统利用智能识别技术识别车厢门、叉车、安全帽等物体，实现开关车门是否使用拉门绳、叉车司机未佩戴安全帽等应用。

2.6 深度学习

深度学习以神经网络为主要模型，主要用来解决一些通用人工智能问题和推理决策等，是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像等数据的解释有很大的帮助。深度学习使机器模仿视听和思考等人类的活动，它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像等数据。系统利用深度学习技术识别车号、车辆等内容，优化货场作业管理流程，实现车辆来车预警。

3 铁路货场安全智能管控系统方案研究

3.1 系统架构

铁路货场安全智能管控系统（简称系统）包括：采集层、接入层、服务层和应用层。

采集层设备是整个系统感知信息主要来源，主要包括增强现实云眼摄像机、雷达视频一体机、热成像摄像机等。

接入层为各种前端感知设备配套的采集、处理、控制的子系统，如视频监控系统、安全预警系统、人脸车辆识别系统等。这些系统大都只是对数据进行采集、简单分析处理。

服务层包含视频管理服务、数据管理服务等，实现数据分析、发布等服务，是对接入层进行整合、优化，为上层应用提供服务支撑。

应用层在服务层的支撑下，结合增强现实技术，可视化、扁平化地将各种动态运行数据叠加到全局监控的视频画面上，实现实景视频地图、智能识别、报警自动推送、智能处置、可视化指挥调度等应用。

系统以AR 增强现实技术和图像智能识别技术为核心，以视频地图引擎为基础，将整个货场的人、车、物、事件等信息以标签标注的形式叠加在视频地图上，通过各类智能图像算法来识别作业过程中的安全风险，保障货场内的安全生产。同时对接防火系统、来车预警系统、人车门禁系统等，实现“货场安全管控一张图”的管理新模式。

系统框架如图2 所示。

图2 系统框架Fig.2 System framework

3.2 系统功能

系统实现安全智能管控全息化、货区安全管理、入侵防护管理、作业安全管理、作业过程管理、人员合规管理、车辆管理和报警信息闭环管理等8 项功能。

1）安全智能管控全息化功能

系统可以用标签标注的方式将整个货场以一个视频实景地图显示，在实景地图可以打开任意位置的低点视频，如图3 所示。在发生报警时，自动联动低点视频进行聚焦，并可一键打开可视化应急预案。

图3 安全智能管控全息化Fig.3 Holography for intelligent safety management and control

2）货区安全管理功能

系统可以对雨棚、仓库等货区进行防火监测，同时对不按规定摆放托盘、抽烟、打电话等行为发出报警，如图4 所示。

图4 货区安全管理Fig.4 Safety management of freight yards

3）入侵防护管理功能

系统通过对实时视频的分析，为铁路周界包括咽喉区、月台间股道提供全天候的入侵检测及报警功能。通过对周界的各种报警事件进行多维检测，确定为人体目标触发报警规则，发出告警信息，如图5 所示。

图5 入侵防护管理Fig.5 Management of trespass prevention

4）作业安全管理功能

系统对作业安全进行管理，如图6 所示，自动识别叉车司机是否佩戴安全帽，叉车是否超速，开/关车门是否使用拉门绳，人员过平交道是否打手势，平交道来车是否做好防护，对有安全风险的行为和事件发出报警。

图6 作业安全管理Fig.6 Management of operation safety

5）作业过程管理功能

系统对人员作业过程进行监管，通过巡检仪并结合图像识别算法，加强对人员巡检作业过程的监督管理，简化原有的作业流程，为巡检作业人员提供便捷，提高作业过程管理能力。

6）人员合规管理功能

系统对人员进出口进行规范化管理，实名制进/出，外来人员需通过访客系统方可进入。

7）车辆管理功能

系统对接当前货场车牌智能识别系统，对进/出货场的车辆进行管控。并对车辆超速进行监控，当车辆超速时，监控中心将接收到报警提示，如图7 所示；并可以对多次超速的车辆自动设置为黑名单。

图7 车辆管理Fig.7 Vehicle management

8） 报警信息闭环管理功能

系统设有专门的报警功能模块，对所有接收到的报警信息进行集中管理，并进行分级，根据对应的分级进行闭环管理，如图8 所示。

图8 报警信息闭环管理Fig.8 Closed-loop management of alarm information

4 应用价值

4.1 智能化提升产生的社会安全效益

通过建设货场安全智能管控系统，可将货场内现有视频监控、出入口车辆识别系统、AI 智能识别系统、人脸门禁系统、来车监测防护系统等多业务系统进行融合，在实景视频画面中可随时调用这些系统数据。当出现异常报警时，能第一时间锁定异常报警发生位置，可视化指挥周边的巡逻人员赶赴现场处置，提高应急处置效率，保障货场运营安全。

4.2 工作效率提升带来的经济效率

通过项目建设，集成现有视频设备、网络设备、消防监控设备、门禁设备等，打通信息孤岛，连接传统的各个监管、监控平台，提高设备利用率，减少作业人员的使用成本、培训成本、设备维护，从而加快工作进度，落实各项工作开展，稳定推进货运行业发展，为货运的运营提升带来较大收益，间接体现了工作效率提升带来的经济效益。

5 总结

货场安全智能管控系统在实际应用中取得预期效果，包括全局视频联动化、技术应用创新化、货场视频实景全息化、安全管控智能化、报警联动立体化、数据资源一体化等效果。同时在新科研技术的带动下，为货场解决实际问题，达到一张实景地图、视频资源上图、多维联动、智能报警闭环管理等综合运用，最终实现货场安全运营。