高层火灾智能报警及逃生指导系统

毕晓君，孙梓玮，刘进

（1.中央民族大学 信息工程学院，北京 100081;2.哈尔滨工程大学 信息与通信工程学院，黑龙江 哈尔滨 150001）

随着城市建设的高速发展以及基建能力的提升，高层建筑越来越多。由于建设规模大、装修标准高、人员密集以及各种电气设备的频繁使用，因此高层建筑往往存在着较大的火灾隐患。近年来，我国高层建筑火灾呈逐年上升趋势，造成的人员伤亡和经济损失触目惊心，仅2019 年高楼层建筑火灾6874 起，共死亡1335 人。经分析，高层建筑造成人员伤亡的主要原因是由于楼层过高、人员分散且相对封闭，使现场人员无法第一时间获得火灾发生信息，特别是火灾发生的地点，从而造成逃生决策失误，错过了宝贵的逃生时机。因此，如何利用高新科技有效解决高层建筑火灾定点报警及逃生智能指导的研究迫在眉睫。

目前现有的火灾自动报警系统主要存在以下问题[1-5]：1）无法及时通知现场人员火灾发生的具体地点，容易错失最佳逃生时机及造成逃生错误等问题；2）部署报警系统时需要穿墙布线，无法做到灵活部署，对于老旧小区、古建筑等场景情况无法应用；3）当火灾发生时，只能实现警笛报警，没有具体可行的逃生指导方案；4）当救援工作展开时，由于对建筑内火情及人群情况不清楚而导致救援指挥延误。而目前国内外针对火灾处理的研究重点为消防用水系统，消防排烟系统，应急照明及多探测器消防联动控制等火灾处理方面，而火灾定位报警，智能引导人群逃生及逃生通道的人群密度监控等方面尚无研究。

针对上述问题，本文基于人工智能技术的发展，特别是具有无线传输能力的智能芯片问世，结合火灾实际需求提出了可行的研究方法。所设计的报警系统能够实现一旦发生火情，第一时间对建筑内所有区域进行定位报警，并及时语音播报各区域的最佳逃生路线。同时开发基于深度学习的行人检测算法以掌握建筑内各区域的人群密度状态，能够随时指导现场人员选择最佳的具体逃生路线。经查阅火灾报警相关文献和资料，目前国内外尚无类似功能的火灾语音报警系统，本系统的研究具有创新性和实用性，可为火灾现场人员赢得宝贵的逃生时间，给出最佳的逃生路线，提高逃生效率。

1 系统整体方案设计

本文通过TXW8301-WiFi 模块实现系统组网，并结合烟雾火灾探测器和WT588D 语音单片机构成节点设备，实时自动监测各楼层不同区域的烟雾浓度状态，当检测到某处烟雾浓度过高时，表明有火灾发生，立即激活建筑内所有节点设备组网，根据预存逃生路线及火灾发生情况自动语音播报火灾的具体地点以及逃生路线，并能够将每层楼不同区域的实时状态通过无线网发送至上位机，上位机将收到的数据以界面动画的形式进行显示。同时现场可编程逻辑门阵列(field programmable gate array,FPGA)开发板通过串口控制上位机树莓派端进行各逃生通道的图像数据采集，将采集的图像数据通过网口发送至部署有E902-CPU 的FPGA 端，通过运行其部署的中值滤波算法[6]、同态滤波算法[7-10]进行图像去噪、去烟及补光处理。在树莓派中部署基于人工智能的行人检测算法[11-14]对视频的人数进行监测，当超过一定的人数阈值后，界面上就会发出警报，并重新规划各楼层不同区域的逃生路线。同时，将建筑内火灾报警情况以及人群密度情况在上位机界面进行显示，方便消防及管理部门了解内部情况，进行智能救援指挥，最大限度地降低火灾中的人员伤亡。

本系统由硬件设备和算法软件两部分组成。硬件设备包括TXW8301-WiFi 模块、JTY-GDDG311 激光烟雾火灾探测器、WT588D 语音单片机组成的节点设备以及系统上位机端。算法软件包括基于中值滤波的图像去噪算法、基于同态滤波的去烟补光算法以及基于深度学习的实时行人检测算法，还有数据传输模块以及系统上位机界面。图1 给出了系统整体工作流程。

图1 系统整体工作流程Fig.1 Overall work flow of the system

2 系统硬件设计

整个系统硬件包括节点设备和系统上位机端两大部分，其中节点设备用于楼层火灾检测，主要由TXW8301-WiFi 模块、JTY-GD-DG311 激光烟雾火灾探测器以及WT588D 语音单片机组成，平时系统处于休眠状态的，无需电源。当火灾发生时，通过火灾检测信号自动启动电源，激活各个节点开始工作。考虑到火灾时容易出现断电现象，因此搭配移动电源使用非传统的插座式电源，可以满足系统连续工作12 个小时。在日常使用中，系统会定时激活所有节点，进行设备及电池自检，保证系统始终处于能够正常工作的状态。可实现实时监测楼层火灾、实现系统组网、语音播报以及将监测数据发送至上位机。系统上位机端主要由树莓派主控和FPGA 硬件加速端组成，主要功能是将获取的火灾数据、图像数据进行处理并显示。本系统的硬件架构图如图2 所示。

图2 硬件设计关系图Fig.2 Hardware design relationship diagram

2.1 TXW8301-WiFi 通信模块

在设计WiFi 通信模块时，将集成有玄铁E803-CPU 内核的TXW-8301-WiFi 模块配置为STA 网络模式，通过GPIO 的高低电平即火灾探测器继电器的输出信号来判断光电感烟器是否检测到有火灾发生，当某处检测到有火灾发生后，WiFi 模块通过GPIO 接口驱动WT588D 语音模块进行语音播报，同时基于socket 网络通信协议将火灾信息发送到上位机AP 端。

该WiFi 模块工作在730～950 MHz 频段，相较于2.4 GHz 和5 GHz 频率的其他WiFi 设备，在拥有在相同发射功率的情况下具有传输距离远，穿透性强的优点，最远传输距离可达到3 km，非常适用于高楼层之间的无线信息传输。同时预留丰富的接口可用于开发，本系统对该模块的使用情况如表1 所示。

表1 TXW8301-WiFi 接口使用情况Table 1 TXW8301-WiFi interface usage

2.2 语音播报模块

语音播报模块由WT588D 语音芯片及外挂16M-Flash 存储芯片组成，将事先录制好的不同区域的逃生路线语音通过专用Flash 烧写器写入Flash 芯片，一旦某处被检测到有火灾发生时，立即通过TXW8301 模块的GPIO 接口模拟三线SPI 协议驱动WT588D 语音播报不同区域的逃生路线，同时外接功放来提升语音信号输出功率。

2.3 系统上位机树莓派主控端

上位机主控端由端使用树莓派4B，通过挂载TXW83-01-WiFi 模块的驱动使用AH 接口控制WiFi 模块，通过Linux 指令集配置主控端WiFi 模块为AP 网络模式，并将工作频段和密匙配置成和STA 端相同，实现主控端与节点设备的WiFi组网，具体配置参数如表2 所示。

表2 WiFi 模块参数配置Table 2 Wi-Fi module parameter configuration

通过QT 软件制作了火灾报警系统界面充分利用树莓派的优势，将各子节点设备传输的数据以界面动画形式进行展示，可以更清晰的在上位机树莓派端实时反映各楼层的设备及火灾发生情况。同时，在各楼层的逃生通道处置有摄像头，一旦检测到有火灾发生，将各摄像头采集的图像数据发送至上位机端进行处理，通过基于深度学习的行人检测算法，获得各通道的人群密度情况，并在上位机端界面进行展示。可实时监控逃生通道的人流量，以及时优化各区域逃生路线及消防部门的救援指挥工作。

2.4 FPGA 开发版

基于Wujian100 软核的Nexys Video FPGA 将采集的图像数据通过中值滤波算法、同态滤波算法进行处理[15-17]，减少图像噪点，提升图像的清晰度，提升在暗光环境下的图像质量，处理后的图像数据再发送至树莓派端。搭建FPGA 图像处理硬件系统框图如图3 所示。系统的硬件加速设计模块以移植有Wujian100 软核移植的Nexys Video FPGA 开发板为核心，通过构建图像处理系统的Block Design 将其例化到顶层。Wujian100 软核外设拓展总线均为AHB 接口，首先添加AHB 转AXI总线桥适配软核接口，分别通过AXI Ethernet Subsystem 和AXI Direct Memory Access 两个IP 核实现以太网外设GEMAC 和DMA 的功能，将图像数据传入FPGA。然后对图像数据应用中值滤波和同态滤波算法，最后将处理后的图像数据通过DMA 缓存至DDR3。

图3 图像处理硬件系统框图Fig.3 Block diagram of the image processing hardware system

2.4.1 Wujian100 软核

Wujian100 软核是一种嵌入式CPU 核，以8 位CPU 的成本获得32 位嵌入式CPU 的运行效率与性能。该软核兼容RISC-V 指令架构，采用16/32 位混合编码系统，指令系统与流水线硬件结构精简高效，具备极低成本、极低功耗和高代码密度等优点。

2.4.2 以太网口高速数据传输设计

本硬件系统在FPGA 中搭建AXI Ethernet Subsystem 及AXI Direct Memory Access IP 核用来驱动以太网端口。其均通过AHB 总线转AXI 总线桥和软核连接，软核通过AHB 总线对其进行配置和控制。其中AXI Ethernet Subsystem IP 核通过RGM Ⅱ接口与RTL8211 芯片连接，其Block Design 设计如图4 所示。

图4 以太网端口驱动IP Fig.4 Ethernet port driver IP

3 系统软件设计

3.1 中值滤波算法设计

在火灾烟雾环境下采集的图像，不可避免的会产生噪声，严重影响行人密度检测的检测效果，本系统使用中值滤波算法[18-20]对烟雾图像进行去噪操作。能够有效平滑图像内噪声，保护图像边缘细节不被模糊。其基本原理是以各像素点作为中心点，将该像素及其滤波尺寸内的相邻像素作为滤波模板，计算出该模板内所有像素点灰度值的中值，作为增强后图像对应中心点的灰度值，可消除孤立的噪点，从而让图像中的像素值更平滑达到去除噪声的效果，且具有硬件易实现的优点。因此本文采用中值滤波算法去除噪声，提高后续行人密度检测精度。其伪代码如下所示。

输入图像X尺寸为m×n，滤波核尺寸为r

输出中值滤波处理后的图像Y

1) fori=rtom-rdo

2) forj=rton-rdo

3) 以该点为中心根据滤波核尺寸划定矩阵，Y(i,j)=划定矩阵中值

4) end

5) end

为此，在FPGA 中构建基于AXI 总线的中值滤波IP 核如图5 所示，以太网接收的图像数据流通过S00_AXIS 接口进入IP 核应用中值滤波算法，输出32 位处理后的流数据。

图5 AXI 总线中值滤波IP 核Fig.5 AXI bus median filter IP core

3.2 同态滤波算法

在光线比较暗的烟雾环境下，视频图像会出现白色烟雾和低对比度的问题。为了解决光度补偿问题，恢复图像颜色、纹理等细节，使其更适合进行行人检测任务，本系统采用同态滤波算法[21-23]，能够在频域中同时进行对比度增强和压缩图像动态范围的滤波。根据光照反射模型，图像可用式(1)描述：

把图像f(x,y) 由看作光照分量L(x,y)和反射分量R(x,y)的乘积，其中光照分量在空间内变化非常缓慢，对应图像频域的低频段；反射分量反映的是图像的细节边缘特性，对应图像频域的高频段。因此在减少光照分量的同时增加反射分量，能够有效地消除图像光照不均的影响，实现图像灰度范围的调整。具体算法过程如图6 及式(2)～(7)所示。

图6 同态滤波算法IP 核Fig.6 IP core of homomorphic filtering algorithm

式中：Rh代 表高频加权系数；Rl代表低频加权系数，D(u,v)代 表频率 (u,v) 距离滤波器中心的距离；D0代表u0和v0为0 时D(u,v)的值，代表截止频率。

为此，在FPGA 中构建基于AXI 总线数据流的同态滤波算法IP 核如图7 所示。中值滤波IP核输出的32 位数据由fin_data 输入到同态滤波IP 核中进行图像对比度增强，同态滤波IP 核输出的视频流数据通过DMA 进行DDR3 缓存。

图7 同态滤波处理流程Fig.7 Homomorphic filtering processing flow

3.3 行人检测算法

行人检测算法采用RFBNet 模型[9]，该模型采用轻量级特征提取网络，并且采用one-stage检测策略。其特点是轻量级，网络结构简单，参数量较少，运行速度快，适合部署到边缘设备中，例如树莓派等微型电脑中。并且能够保证检测的实时性以及较高的检测准确率。RFBNet 模型[9]原用于多目标检测，本文将模型用PASCAL VOC2007 行人数据集进行重新训练，专用于行人检测。

RFBNet 采用改进的轻量级VGG16 神经网络用于特征提取，并通过在检测头增加RFB 模块，实现了可在多特征层同时检测的功能。其中每层都可预测4（box）+1（class_num）数量的结果，将检测结果进行整合操作，输出最终的检测结果。RFBNet 整体网络结构如图8 所示。

图8 RFBNet 网络结构Fig.8 RFBNet network structure

RFBNet[9]检测模型为达到在基于轻量级特征提取网络的前提下，达到速度及精度的平衡的目的，设计了借鉴人类视觉的RFB 模块，该模块是一种多分支的结构，其主要包括常规卷积及膨胀卷积两部分。这种精心设计的RFB 模块通过结合不同的卷积分支、卷积尺寸、扩张卷积结构来模拟人类视觉系统中的感受野结构，在参数量相近的情况下扩大感受野，以解决图像中检测目标大小尺寸不一难以检测的问题。这种多尺度的思想十分有利于提高检测性能,其检测效果远超同级别的轻量级网络，甚至可以超过部分参数量巨大的深层网络。在该检测模型中共设计两种不同的RFB (receptive fields block)结构分别为RFB 和RFB-s，可以从不同深度的特征层进行检测。进一步提高检测效果。具体结构如图9 所示。

图9 RFB 及RFB-s 结构Fig.9 RFB and RFB-s structure

4 系统测试与分析

4.1 中值滤波算法仿真分析

测试时使用的测试数据为分别为{99,138,30}、{138,30,69}、{30,69,108}根据中值滤波算法可求得中值为70，具体内容如图10 红色标记部分。图中红色圈所指示，模块输出的中值是69，与仿真实验计算结果相同，中值滤波IP 核时序正确，完成算法设计功能。

图10 中值滤波算法仿真图Fig.10 Simulation diagram of median filtering algorithm

4.2 同态滤波算法

同态滤波的处理效果取决于滤波函数的选择及参数的设定，恰当的数据设定能够在压缩削弱光照分量的同时增强提升反射分量，增强图像的对比度，本系统经反复实验确定滤波函数采用高斯高通滤波函数，式(7)中参数设置为Rh=2.5，Rl=0.6，D0=6。图像经算法测试后的对比结果图如图11 所示。

图11 同态滤波算法测试结果Fig.11 Test results of homomorphic filtering algorithm

从图11 中可以看出应用该算法IP 后能够明显提升图片中物体的整体亮度，恢复图片中物体的颜色、纹理、轮廓等细节。以便后续行人检测算法能够准确检测人流量。

4.3 行人检测算法

本算法从PASCAL VOC2007 数据集中单独挑选出包含行人的图片及标注，作为数据集并进行训练。由于深度神经网络对训练数据要求较高，数据集规模越大，包含的目标样本越丰富，模型的泛化能力及鲁棒性越强。所以本文在训练时对输入的图像进行了数据扩增操作，通过随机裁剪、水平翻转、区域随机采样等操作增加了训练数据。在训练时模型参数设置如下：epoch 为200，batch size 为24，图像的输入尺寸为320，IoU 阈值为0.5。学习率为0.01，迭代次数为200，使用SGD 优化器。

本文使用通用的P-R 曲线图绘制检测结果图，即Recall 值为0，0.1，…，1.0 情况下的Precision 值，其中Rcall 为召回率即查全率，Precesion 为准确率。通过设置不同的置信度阈值来得到P-R 曲线图。实验结果如图12 所示。

图12 P-R 曲线图Fig.12 P-R curve diagram

从图中可以观察到，P-R 曲线呈递减趋势，PR 曲线下的面积即为检测的AP 值，具体公式为

式中：Rj为上述提到的阈值（0，0.1，…，1.0）对应得到的所有回归率，j=0,1,…,10。P(rj+1)为（rj+1）对应的准确率。P、R公式为

式中：TP 为正确检测出来的数量，FP 是检测错误的数量，FN 是未检测出的数量。

在目标检测领域中使用mAP 作为评测标准，代表各类目标AP 值的平均值。由于在行人检测任务中只有行人一类目标，所以AP 值与mAP 值相等，在PASCAL VOC2007 val[23]验证集中计算得mAP 值为87.02%。准确率完全满足行人检测任务在系统中的实际应用需求。原模型用于目标检测，我们根据所筛选的行人数据集进行训练及测试，对模型进行了应用创新，达到了预期要求。

在实验测试中，我们对光线暗、行人被部分遮挡、行人密集、行人抖动模糊等各种特殊情况进行了测试，最终得到的检测结果如图13 所示。在各种极端恶劣的条件下检测效果依然较好，这说明模型的泛化能力较强。

图13 行人检测极端情况测试图Fig.13 Pedestrian detection extreme case test chart

5 结束语

本文实现了高层建筑火灾智能报警及逃生指导系统的设计与搭建工作，通过多个TXW8301 WiFi 模块实现各楼层节点模块组网，一旦建筑内某一区域发生火情，激光烟雾火灾探测器发出信号立即激活建筑内布控的所有终端节点，各楼层自动启动WT588D 语音单片机语音播报具体的火灾地点以及逃生路线，智能引导各区域人群逃生。同时，通过FPGA 开发板对烟雾监控视频进行去烟补光、去噪处理，并基于深度学习算法对各逃生通道进行行人密度检测，系统界面实时显示火灾报警情况及安全通道的人群密度等监测情况，方便进行智能救援指挥，可最大限度地降低火灾中的人员伤亡。