基于大数据的天然气风险管理体系研究

姚衎　高雅田

摘 要 研究围绕着天然气风险评估技术问题展开，使用基于Hadoop大数据系统构建适应天然气企业生产情况的管线风险评价体系。对天然气生产使用的数据进行分布式存储以及对随时产生的流式数据进行实时处理并绘制成报表。采用基于大数据的天然气风险评价技术实现对天然气企业及用户的天然气生产使用数据进行风险评估及风险预警，为天然气的安全生產和使用提供保障。

关键词 Hadoop 管道运输 风险评价 肯特法

0引言

天然气开发作为一个高危作业行业，安全生产占有极其重要的地位。风险作为一种客观存在威胁着天然气行业的生产与开发，而且在一定条件下也带有某些规律性，通过风险控制来提高生产安全，减少由于不能够及时发现风险及安全隐患带来的巨大经济损失和社会损失，保障天然气开采和生产过程中的安全性。

将Hadoop等大数据技术引入天然气风险管理中，可以快速形成动态的风险评价方式，开拓安全风险工作的新途径，也能够实质性的提高天然气生产安全水平。天然气生产风险评价工作涉及众多数据，将大数据技术结合天然气风险管理不但可以解决数据管理、数据处理效率等问题，更是可以从海量的风险数据中发现其规律和趋势。

1相关技术分析

研究中使用了天然气的油气风险评价法Kent法，Hadoop的相关数据存储技术，以及Spark相关的实时处理技术。

1.1 Kent法

油气长输管线评价法Kent法使用半定量的方法对管道运输进行识别。其建立于独立性假设，最坏情况假设，相对性假设以及在加权计算的基础上。应用时，Kent法需要将管道按照标准划分为多段，对每一个段可能引起管道失效的主要因素建立合理的风险评价指标，根据每段的第三方指数、腐蚀指数、设计指数和误操作指数四个指数的影响程度进行管道风险评价，依据有效建立的评分标准对各个管段引起故障的重要因素逐项评分，然后以每个评分值与其对应的权重相乘，将所有的有关因素评分相加得到失效总分，再与泄露风险数相除得到相对风险数，并与风险指标指数对应后确定风险。

1.2 Hadoop以及Spark相关技术

Hadoop是大数据平台，支持对海量数据分布式、准确高效的处理。其中HDFS主要用于数据存储的基础操作。其强大的容错能力能够保障数据存储服务的安全。HBase是一个面向列式存储的、能够对表格可伸缩处理的分布式存储系统，建立在HDFS之上的HBase在给用户提供高性能的同时也能保证数据的完整性。

Spark Streaming使用的是基于实时数据流的的数据处理方式。而Kafka 是一个基于主题发布、订阅的消息系统。它可以作为消息队列，流计算系统的数据源。

2实现原理

2.1系统设计

天然气风险管理体系的研究建立在大数据技术的基础上，分析生产数据与安全系数的相关性，并依据Kent法和大量数据不断调整各个指数的权重，寻找适应于当地生产情况的评价指标。使用HDFS完善非结构化数据的管理方案，并结合HBase完成数据的读、写操作，实现数据的完整性管理。使用Spark Streaming和Kafka相结合的方式搭建实时计算框架，使用Kent法以及以数据驱动的风险评价指标，对实时信息进行加工处理，实现天然气风险管理的实时分析、实时报表。并将所有的计算数据存入数据库中，以不断的数据积累增强对风险的评价水平。

2.2 Kent法的优化

将生产地点的历史数据进行抽取、转换、清洗、装载后，利用原始的相关数据调整风险评价指标，并调整相关指数权重形成可以不断依据现实情况更新的风险评价体系，在调整权重时应注意以下几项。

（1）基于Kent法的应用情况以及国内生产情况，需要更改某些相关指标，例如国内的管线大气腐蚀情况与国外的情况相差巨大，国内管道运输以埋地为主，不考虑大气腐蚀。

（2）对于已经发生过安全风险的管道数据加以注重，并根据当时的评价结果是否准确来调整：如果评价结果正确，则需要加固当前权重的稳定；如果评价结果并不能够匹配历史数据，就需要不断调整指数权重，不断接近历史结果。

（3）在进行风险评价调整权重时，应过滤掉不适用的数据，例如：有人蓄意破坏、罕见的气候环境等极端情况影响导致评估结果不正确，这类数据的可预估性太低，不值得去消耗大量的运算力做无意义的事情。

（4）随着天然气风险管理的不断纠正，随时都有可能添加或减少指标，对于权重较低的指标可以被剔除，管理人员也应该能够加入新的指标增加风险评价的正确率。

2.3风险评价系统的架构

结合海量的天然气风险管理数据，风险评价管理采用了分布式、分层结构，整体上将系统划分为数据层、模型层、数据处理层、应用层四层结构。

数据层数据主要分为采集数据和结果数据。采集数据是管道的第三方指数、腐蚀指数、设计指数、误操作指数以及有关的Kent评价数据。结果数据涵盖历史评价结果，评价方案，评价因素、评价人员和最终实际结果等基本数据。数据层使用HDFS存储数据，利用HBase数据工具将数据整理入库。

模型层针对Kent法建立评价数据模型，结果数据模型、评价指标数据模型等基础模型，通过对数据层的访问获取数据，实现数据的规范化处理并将数据提供给其他层使用。

数据处理层是整个系统的关键，其根据上文的Kent法优化方案，处理相关数据模型，不断优化评价算法并将算法建立模型，针对不同生产地点建立不同的模型以适应更多区域。实时计算框架将不断生产的数据进行实时分析，并将计算得到的数据存入数据层中，在用户需要时提供给用户。

应用层是最外层，主要负责与用户交互，根据数据模型将评价数据进行展示，因为使用了实时计算框架，能够完成实时报表。设置配置文件使管理者能够配置指数相关信息，使系统更加灵活。

3结语

基于大数据的天然气风险管理体系研究的应用前景并不局限于天然气风险，其主要针对的是风险评价领域。例如在金融领域，任何金融公司都需要准确地预测风险，大数据解决方案能够利用有效的评估数据进一步评价信贷风险，在一定程度上帮助金融公司提高风险预测的准确度。使用Hadoop等解决方案可以分析海量的相关数据来不断确定风险状况，使企业在面对风险时做出更好、更明智的选择。相信随着自动监控评价系统的逐步研究，数据采集、数据类型多样化、数据保留时间的加长势必会形成更加完整的自动监控，实时评价的大数据系统。

参考文献

[1] 陈玺，马修军，吕欣.Hadoop生态体系安全框架综述[J].信息安全研究，2016，2（08）：684-698.

[2] 李爽.基于Spark的数据处理分析系统的设计与实现[D].北京：北京交通大学，2015.