基于数据挖掘的煤矿安全管理大数据平台

高 晶，赵良君，吕旭阳

（华北理工大学，河北 唐山 063210）

面对大数据时代的来临，信息化和大数据对煤矿安全管理的重要性被众多煤矿企业管理层所认知[1-4]。高强度劳动作业、高风险作业、高事故发生率是煤矿行业的突出特点[5-7]。

国家和社会高度重视，且密切关注煤矿生产中的安全，这使得煤矿企业一刻也不能放松安全管理。近年来随着传感器的进一步发展，应对煤矿井下复杂环境在检测精度和准确度方面有很大进步，同时，利用数据挖掘相关技术进行煤矿安全分析、预警，已取得丰收成果。但是，当前数据挖掘技术与煤炭工业的融合仍处在浅层，煤矿安全检测监控系统基本停留在实施预警层次，没有对实时上传的大量数据进行挖掘、使用、管理和分析处理。陈旧的以事故为切入点的安全管理不再适用当前发展需求，人们凭借长期管理的经验制定管理规章制度进行现场管理和预警处置，没有将管理系统与现场管理有效的结合起来，没有真正发挥实质性作用。因此，针对煤矿安全系统数据来源多样化、异构化的特征，充分发挥大数据思维，通过采用深度数据关联分析技术，实现对煤矿安全生产多维度、多精度的衡量，从而挖掘出隐藏在海量复杂繁琐数据中的信息和规律，搭建煤矿安全大数据分析模型，设计功能模块及总体框架，对形成煤矿安全大数据挖掘分析体系具有理论价值和实践意义。

1 煤矿安全管理大数据内涵及特点

1.1 煤矿安全大数据内涵

作为繁杂的社会技术系统的煤炭生产系统，包括调度、掘进、开采、设备、通风等多个部门，其内部和外部因素对系统的各种特征均产生一定影响。据专家学者统计煤矿企业中常规的安全生产管理系统达到数十个，随之而来的是众多系统全天候不间断产生的海量安全数据，且海量数据中隐含的风险信息很难通过人力计算而获得[8]。因此，有必要采用数据挖掘技术对安全管理数据进行有效处理得到有价值的安全管理规则和规律，为企业决策者提供决策依据。煤矿安全管理大数据内涵较以往有以下2 点改变：

1）煤矿安全管理对象的具体化、简洁化。大数据背景下煤矿安全管理对象由传统的实物个体（部门、班组、矿工、设备、环境等）向实物个体产生的安全管理大数据转化。换句话说，煤矿安全管理大数据是在原有的安全管理对象之间增加了数据管理部分，增加安全管理效率，有助于实现对原有安全管理对象的具体化和简洁化。

2）预控式和数据式的煤矿安全管理方式。常见的管理方式有经验式管理、制度式管理、风险预控管理和安全文化管理。其中安全文化管理在5 个管理方式中处于顶层位置，员工因安全文化的影响而主动按照安全规定执行。融入大数据的煤矿安全管理，是将数据式安全管理插入到风险预控管理与安全文化管理之间，这样可以更加有效的加强安全文化管理。煤矿安全管理方式的改变如图1。

图1 煤矿安全管理方式的改变Fig.1 Changes in coal mine safety management

1.2 煤矿安全管理大数据特点

1）煤矿安全管理数据规模巨大，且增长趋势迅猛。煤矿安全数据来自众多系统，包括人员不安全行为、设备自检、瓦斯、一氧化碳、温湿度、通风等传感器、调度安排、生产运行等相关的安全数据，故而导致数据的复杂繁多，是人力处理能力所不及的。

2）煤矿安全管理数据种类庞大。煤矿安全数据中有的来自设备自动记录，有的来自人员手动录入，有的是文本型，有的是数值型，还有图片型，有的是实时记录数据，有的是定期维护数据，依据这些数据特点可以分成结构性数据，非结构性数据，静态数据，动态数据。

3）煤矿安全管理数据价值密度低，这是大数据特点之一。伴随煤矿安全管理的海量数据，有价值的信息往往更加隐蔽、更加容易被忽略、被埋没，原有的煤矿安全管理系统解决起来困难。

4）煤矿安全管理数据增速快。由于煤矿生产机械化程度提高和各类信息管理系统投入到煤矿运行管理，煤矿安全管理中涉及到的风险隐患、人员不安全行为、培训情况，设备运行状态，环境状态探测等等数据呈现出爆炸式增长趋势。

2 煤矿安全管理大数据模型

面对煤矿安装管理大数据的上述特点，传统的数据管理解决方案已经不适用，因此，通过采用文献分析、专家访谈等方法设计出煤矿安全管理大数据分析模型, 煤矿安全管理大数据分析模型如图2。

图2 煤矿安全管理大数据分析模型Fig.2 Big data analysis model of coal mine safety management

1）研究目标。煤矿信息化所包含的系统种类多，每套系统标准不同，短期内无法做到将所有的系统数据进行挖掘分析，所以以高关联度的核心数据库作为研究目标是首选，从人员、设备、环境、管理4 个角度确定研究对象，为了对煤矿安全管理进行数据挖掘，需要制定可执行的数据采样方案，明确数据采集目标、要素、设备和流程。

2）数据预处理。数据预处理是数据分析的基础，也是数据挖掘的重要步骤，因为数据的质量高低直接决定数据挖局的精度和效率。进行数据挖掘的前提须确保数据的干净和高质量，为此，要对煤矿安全管理系统的数据进行抽取、清洗、转换和加载，同时还需对数据进行关联分析，包括语义、数据库表、标签体系等等。

3）理论分析。依托煤矿企业已有的硬件设备和软件系统，将收集到的数据进行整理后，通过运用数据挖掘分析方法，搭建煤矿安全管理平台的基本功能和技术框架，多维度探索数据之间关联性，挖掘出具有一定理论价值和实际意义的结论。

3 煤矿安全管理大数据平台功能架构

为满足煤矿安全管理的态势感知，监测预警、应急指挥、流程管理的实际业务需求，以综合整理多个煤矿安全系统中海量数据为出发点，设计煤矿安全管理大数据平台。该平台具有数据驱动企业运营、管理精细、简洁直观等特征，形成“报告、决策、推送”完整智慧煤矿运行闭环结构。以IOS 结构为参考设计的煤矿安全管理大数据平台总体功能框架如图3。煤矿安全管理大数据平台主要包含5 部分，即：基础层、支撑层、应用层、表现层和用户层。

图3 煤矿安全管理大数据平台总体功能框架Fig.3 The overall functional framework of the coal mine safety management big data platform

1）基础层。基础层存储来自多个系统的数据库，数据类型包括人员、设备、环境、管理的源数据、日志、系统业务数据等结构化数据和网页、传感器采集数据、视频采集数据等非结构化数据。

2）支撑层。支撑层是该平台的核心层次。主要目的是整合来自不同系统采集的具有分散、异构、多源特点的数据，通过统一访问入口，实现跨平台、跨数据库的信息访问、调取、传递、运算，从而达到集成各种有效信息。

3）应用层。应用层链接支撑层和表现层，是数据处理的关键环节。主要完成数据处理和挖掘，为煤矿系统精准管理和科学决策提供有效的数据依据。

4）表现层。表现层关注的焦点是提供正确的信息表达语法和语义，具备3 种主要功能：网络的安全和信息保密管理、系统中文本的压缩与打包、虚拟终端协议。

5）用户层。用户层是用户与系统之间交流的纽带，在统一界面中以交互形式实现用户与各种数据库内数据的查询、插入、删除、更新等需求。

4 平台技术架构

煤矿安全管理大数据平台采用Hadoop 技术为依托的大数据分布式集群技术架构，充分利用大数据生态系统集群及工具，分析处理煤矿安全管理数据，全面提高煤矿安全数据的勘察、挖掘和凝练能力，助力企业管理迈向大数据新时代。煤矿安全管理大数据平台大数据分布式集群技术架构如图4。

图4 煤矿安全管理大数据平台大数据分布式集群技术架构Fig.4 Technical architecture of big data distributed cluster of big data platform for coal mine safety management

1）数据源。煤矿安全管理大数据平台的基础数据均来自于人员、设备、环境、管理等相关的各种静态和动态数据信息系统。静态数据具有在很长的一段时间内不会变化、在运行中主要作为控制或参考用的特点，在煤矿企业管理系统中的静态数据虽然长时间不需要更新，但其具有一定的价值和准确度，对煤矿安全管理具有实际意义[9]。动态数据顾名思义其具有随时间变化而改变，直接反映事务过程的特点，煤矿企业管理系统中主要包括实时获取的各系统内的日志访问数据、环境设备数据、各系统的业务数据流，特别是由于采集的数据来自多种系统，致使数据存在结构差异、分布松散、数据量庞大、统一困难等情况，因此需从定义、范例、属性、关系、冗余、实时、扩展等方面思虑周全。

2）数据采集。针对煤矿管理中众多系统数据类型及特点，大数据平台配置了适用于静态数据、动态数据的存储形式和各类数据访问适配器，可以实现数据清洗加工，为下一步数据管理与转换等工作做好准备。

3）数据存储。大数据的存储采用磁盘阵列的分布式存储方式，实现各类系统、异构数据高效、便捷、安全归类存放。在煤矿大数据中，需存储的数据主要分为2 种：其一是给企业决策层提供监管的决策性数据；其二是企业需存档的数据。

4）数据处理平台。数据处理平台以服务模式为总体架构，覆盖煤矿大数据应用全过程，是核心部分。平台采用适合大规模数据集应用的Hadoop 分布式文件系统（HDFS）和在集群资源管理、作业调度监控表现突出的Hadoop 资源管理器YARN 分层结构框架。采集的各种数据存储在适合于非结构化数据存储且具有高可靠性、高性能、面向列、可伸缩的的HBase 数据库。通过Hadoop 的Hive 数据仓库分析系统，进行数据提取、转化、加载，将结构化的数据文件映射为一张数据库表，并采用适合Hadoop 存储的BP 数据级的Impala 技术，实现快速查询数据等交互行为。

5）数据分析应用。平台以业务范畴、危险源特征、属性等多维度的方式、关联规则的数据挖掘算法和多标签关联分类算法等关联分析方法对下层数据处理平台中的数据进行算法优化调整、监测监控数据、内容分析和挖掘，并给予评价。

6）数据处理方式。为了保证煤矿安全管理大数据分析结果的快速性和完整性，采取用时间换取成本的离线计算方案和具有很高价值收益的流式实时计算方案，这2 种方案不仅提供了离线数据分析的各种解决方案，同时在离线向实时的转型中提供了无缝转换[10]。在数据处理过程中，由于煤矿安全管理数据的繁杂、异构、连续等特征，须采用具有高性能、高容错性、高可扩展性的数据处理工具。

7）界面展现。用户界面的以布局合理，设计直观、简洁，功能一目了然，交互准确有效，标准控件规范为设计原则，用户通过统一认证登录平台向服务器发送各种请求，平台通过数据处理、分析将用户所需结果展现出来。

5 结 语

基于数据挖掘技术，结合安全管理、系统工程以及数据挖掘等理论和方法，对煤矿安全管理系统现状进行深入分析，研究并设计了基于数据挖掘的煤矿安全管理大数据平台。煤炭安全管理大数据平台通过搭建适合BP 数据级的Hadoop 大数据框架对企业内部已有多系统信息资源进行整理、清洗、分析、归纳，从不同角度和维度挖掘出信息之间的规律、模式等隐含知识，为煤炭用户提供决策参考依据。目前，数据挖掘技术在煤矿安全领域的应用处在初期阶段，探索、研究基于数据挖掘的大型软件系统平台，构建煤炭安全管理大数据分析方法体系有待进一步研究与优化。