水质在线监测中的大数据应用浅析

陈 伟 王雪奇

1.台州市环科环保设备运营维护有限公司；2.台州市欧保环保工程有限公司

1 前言

伴随着社会经济水平的提升，环保技术得到了良好的发展。当前阶段，要想促使我国水质监测工作得到高效率的开展，从一方面进行探究离不开完善水质监测数据的帮助，而另一方面，也对于各项水质监测数据统计工作以及应用的技术提出了非常严格的要求，对于包含的水质数据来讲，除了属于环保监测工作长时间开展所积累的数据之外，与此同时还属于提升水质监测工作水平和质量的主要依据。本文结合我国水质监测技术类大数据的应用特征，阐述了该项技术的具体应用情况，希望能够促使水质监测工作得到全方面的开展。

2 对于大数据和水质在线监测之间联系性的探究

所谓水质在线监测系统一般是以相关的分析设备为主，结合传感器技术大数据技术和云计算技术来全方面的监督和测试目标水域水质情况，确保水质监测数据的准确性，从而促使水质监测工作朝着更好的趋势迈进。对于云计算技术来讲，自身有着较为独特的特征以及优势，除了包含复杂的分布式储存结构之外，还可以高效率完成数据计算工作，可以为水质监测环节的开展提供良好的储存服务。而大数据技术，除了具备较强的价值，还能够满足各项业务以及各个环节提出的高要求，从中看出，大数据技术云计算以及水质在线监测之间有着密切的联系性，三者缺一不可。

3 水质在线监测工作存在的相关问题

在水质在线监测工作开展期间，还有着较多的不足之处，具体表现在以下几方面。

3.1 设备有着多样性的特征

从当前水质分析监测工作开展期间来看，所需的设备是非常多的，并且这些设备除了有着极高的繁琐性之外，还有着诸多的类型，各项设备产生的效果和优势也是不一样的，比如有的设备价格较高，而有的设备价格较低，因此品质以及维修服务情况等均是不一样的，受此种现象的影响，就使得水质分析监测设备的操作原理和应用的技术有着明显的差别，并且设备的参数不具备统一性，技术维护服务水平处于较低的状态，难以达到统一的目的，有的设备没有及时得到创新和改进应用，很长时间以后也没有对其进行保养。所以要想促使水质分析监测设备高效率运行，将其他优势全面发挥到水质在线监测环节中，就应当加大对其的保养和维修力度，延伸设备的使用时间，这样一来就能够确保监测设备准确的监测各项数据。

3.2 数据有着较大的零散性特征

当前阶段，在企业运行期间，所需的环保设备在安装期间面临的时间是非常多的，再加上设备性能的不同，因此就使得水质分析监测设备数据受到了相关因素的影响，没有被全面的和在线监控网络相互连接到一起，导致监测数据得不到有效的覆盖，数据监测效率降低，数据过于零散。此种现象是无法将企业具体水质情况有效体现出来的，环保管理部门也难以动态性的对企业进行监督和管理。

4 在水质在线监测环节中对于大数据技术的实际应用

本文以某项化工企业举例说明，该项阶段结合实际情况配置了专业性的水质在线监测设备，该项设备能够全面的监测以及搜集水质情况，精准的反馈数据，不过从设备实际使用现状来看，此项企业的管理部门职能查询水质监测数据的过程中难以对这些数据进行整合以及统计，并且获取的数据准确性非常低，所以要想加深企业管理层对于水质具体情况的了解和认识，除了落实完善的排污处理对策之外，还应当引进新型的大数据技术，以此促使企业朝着信息化趋势发展。在本篇文章中重点探究了水质在线监测环节中对于大数据技术的具体应用以及规范性污水监管系统的构建。

4.1 合理的对系统整体架构进行设计，保持规范性

在以往水质在线监测期间，主要是以传统的管理信息系统为主，可是该种类型的系统较为单一，效果难以全面的发挥出来，本身一般是由感知层、网络层和应用层三种类型的架构组合形成的，而自从引进了大数据污水监督管理系统以后，便从上述三层架构的基础上增设了数据处理，借助数据处理上能够全方面的监督和管理水质在线监测期间获取的各项数据，并且储存以及统计数据，从一定程度上保证了数据的完善性。

4.2 对系统功能模块进行规范性的设计

其一；进行动态性的监测和管理数据；所谓实时以及动态性监督管理工作，主要是从各项水源质量监测点入手，探究和分析包含的污染成分，然后提前预警不符合要求的监测部分，将其呈现于系统内，以此达到警示的效果，让相关人员明确注意该项问题，通过相互探讨的方式制定出完善的应对对策，从而降低污水超出标准现象的出现概率。

其二；有效管理工厂内包含的各项信息；借助系统功能模块对工厂内包含的各项信息进行处理是很有必要的，具体涉及到了污水处理厂、水质监测点和各项设备运行状态，因为化工企业涉及到的污水处理厂是非常多的，而且不同类型的污水处理厂无论是规模还是应用的设备都有着明显的差别，所以科学合理的应用系统功能模块有利于加深管理层对于工厂运行情况的了解程度，然后再定期检验水质监测设备整体状态的基础上加以维护，最终将污水彻底排放出去。

其三；管理和分析水源质量；现阶段，当处理工厂内包含的污水时，有的设备是无法直接将水质监测标准要求读取出来的，只有在完成采样工作以后，经由实验工作才可以达到测算水质的目的。所以可以将水质分析管理模块应用于该项系统内，这样做的目的是为了更新和优化实验室中落实的水质监测结果。

其四；用户方面的管理工作；系统功能模块还可以管理用户，面对于不同用户提出的高要求，均可以提供与之相符的访问权限，能够从根本上满足用户需求，然后将系统的运行状态全面记录下来，保持系统稳定性，从而为后期维护系统工作的实施提供帮助。

其五；探究大数据；当前阶段，应用的终端类型传感器设备是每分每秒不间断的检测污水性质，这样一来就使得设备传输到系统内的数据过于繁琐和复杂，基于此就需要制定出完善的对策和合理的方式来处理以及整合数据，借助大数据分析模块中产生的优势来初步处置数据，将存在误差并且没有利用价值的数据清除。除此之外，还可以以规范性的指标测量模式为主，更进一步的分析和计算数据情况，将获取的水质检测结果以图表的方式体现出来，从而提升工作水平，保证工作质量。

4.3 储存数据确保数据的完善性

该项系统内制定的数据库是借助Hadoop 平台构建形成的，实施各项平台的实质性目的是为了动态性的处理各项数据满足大容量需求，而应用HBase 体系架构，可以将诸多类型的数据全面储存起来，该项体系架构组成结构具体包含了以下几点。

第一，数据采集引擎；一般情况下，在化工厂运行期间实施污水检测的过程中，相关人员均是将收集的数据和信息全部放置于该项污水处理厂内的关系数据库内，当完成该项系统设计方面的规划工作以后，应用sqoop 来传输历史数据，放置于hdfs内，此项操作流程能够达到高效率储存实施污水数据的目的。

第二，Hadoophdfs 大数据储存文件系统的应用。因为水质在线监测环节中包含的数据类型非常多，并且伴随着时间的不断发展，数据量逐渐拓展和增多，随之呈现出了快速增长的趋势。所以要想高效率的储存以及监管各项复杂性数据。眼见sadoopsdfs大数据储存文件系统进行工作是很有必要的，此项系统的优势极高。

第三，HBase数据储存引擎的应用。当对相关数据进行储存的时候，可以应用HBase技术来拓展以及延伸数据储存容量，增加使用空间，为管理人员查询和获取数据提供诸多的便利。

5 结语

从以上论述来看，大数据分析技术产生的优势是极高的，将其应用于水质在线监测环节中，除了可以提升水质监测数据的精准程度和完善性之外，还能够借助该项技术的优势加快水质在线监测工作开展的效率，在促使水质监测领域稳定运行的背景下改善环境，降低水污染，以此达到构建生态社会的目的。