基于大数据的数据挖掘技术在工业信息化中的应用分析

王韵滋 王爽

摘 要 在当今全球大数据的环境下，将大数据的数据挖掘技术运用在工业生产中，构建从数据的感知与采集、数据的储存与建模到数据的分析与决策的完整生产模型。能有效改善企业的生产安排、质量监督、故障排查和供应链。提高其信息化、自动化水平，对于提高工业技术，促进工业效率的提高具有重要作用。

关键词 大数据;数据挖掘技术;工业信息化

引言

在当今信息化技术飞速发展的时代，大数据技术运用到生产生活的方方面面，在浩如烟海的信息中，想要快速定位抓住需要的信息存在一定困难，为解决这一问题，数据挖掘技术应运而生。数据挖掘技术能够在海量数据中快速捕捉定位所需的信息资源，并将其运用到生产和生活中。在信息时代，工业的发展需要精确的数据支撑，想要提高工业的信息化水平，充分运用大数据提供的大量信息资源，就需要通过数据挖掘技术让大数据为工业的所需提供相应的资料，这样在原有的实践数据基础上所做的研究就更加客观，从而使大数据技术更好地支持工业产业的发展。

1工业领域中数据挖掘的内涵与发展

数据挖掘技术是通过统计、数据分析、情报检索、机器学习、可视化技术、模式识别、人工智能等技术手段，应用算法，在大量数据中心搜索信息的技术过程。是工业领域中运用大数据技术的重要环节。数据挖掘技术现在已经在钢铁、化工、电力、无线通信等领域应用并取得了较好的效果。在我国传统工业发展缓慢、工业产业面临转型升级压力的环境下，积极发展信息化的大数据技术是应对当下工业转型、突破发展瓶颈的重要契机和有力技术支持。

我国传统工业在改革开放后积极应用电子信息技术，20世纪80年代后，数控机床、自动化设备、数字化企业等技术在工业企业内大面积应用。积累海量工业生产数据，但由于分析技术的限制，无法对数以百万计的数据进行有效甄别筛选和分析。直到21世纪，伴随着高性能计算、数据库、人工智能、机器学习等新技术的发展和应用，形成了以数据挖掘为代表的大数据技术，人类才能够有效处理工业积累的大数据，并利用数据分析的结果，更好地为工业生产服务。工业大数据技术的发展和应用，能够对工业生产的全过程进行监控，通过收集工业生产数据，利用数据挖掘技术，做到及时发现问题、分析潜在风险并给出解决方案，从而提高工业的生产效率，保证工业的绿色可持续生产。这符合我国的经济发展方向，有利于加快工业化和现代化进程[1]。

现阶段较为成熟的工业大数据数据挖掘应用有美国通用电气公司的Predix平台，该平台将人，机，料，法，环的数据相互打通，从而转变了原有的运营模式，使得通用电气公司对未来行业的发展更有预见性。国内对于工业大数据数据挖掘探索较为成熟的有昆仑数据的机器大数据管理分析平台和中国航天工业集团的设备健康状态管理平台。总的来说，工业大数据数据挖掘在我国发展势头迅猛，但仍旧应用范围较小，整体尚不成熟。

2数据挖掘的一般框架

2.1 数据的感知与采集

这一过程分为数据获取和接入治理两个部分。

（1）数据获取，由传感器网络技术、自动识别技术和数字化集成技术为主要技术支撑。由于传感器技术的发展，现代工业企业的数控机床、加工机器人等设备中都配备传感器，以监控生产全过程，在这个过程中，传感器收集大量关于产品和设备状况的数据，极大降低数据的收集成本。自动识别技术，通过二维码、光信号以及嵌入式等能纵向追踪的技术获取工业生产中工业产品和设备时间序列数据。数据化集成，一般采用制造企业生产过程执行管理系统、企业资源计划、产品数据管理将数据整合传输。

（2）接入治理，由数据获取的原始数据噪音较大，数据源众多，导致存在数据重复和数据异构等状况，必须通过异构数据优化，数据去重等治理手段对数据进行处理以确保数据的准确性。一般通过多源数据控制技术，利用矢量化和动态调节的手段，解决异构数据的问题，对数据类型进行统一。采用数据融合技术实现实时去重和降噪的目的[2]。

2.2 数据的储存与建模

由于数据挖掘的对象是海量的數据，这对存储和建模技术提出了更高的要求。

（1）储存技术，较为主流的方式是采用分布式基础构架Hadoop，Hadoop由HDFS和MapReduce两部分组成，HDFS负责储存海量数据，HDFS具有三个优势。一是具有高容错性，能有效降低因数据错乱引发的系统崩溃;二是对硬件要求较低，可以在价格低廉的硬件设备上运行，降低成本;三是数据吞吐量高，超大数据集的运行。MapReduce负责对数据的计算，MapReduce是通过映射和归纳的方式保证所有映射值对中的每一个共享相同的键组，从而实现分布可靠的特点。

（2）建模技术主要以面向全局的制造数据本体建模技术为主。由于采集到的工业数据缺乏统一的定义，导致数据片段无序离散，通过分别对工业流程中各项要素建模，如设备建模、产线建模、产品建模等。最终运用多级混合储存技术进行全局数据储存，保证工业数据以统一标准储存在数据库中。

2.3 数据的分析与决策

数据的分析和决策中，数据分析与决策的核心就是数据挖掘。数据挖掘技术能对大数据从不同维度根据需要，快速的提取信息。数据分析一般分为数据集选取、数据预处理、数据转换、数据建模和结果分析，五个步骤。而其中数据建模主要方式是通过构建分类模型、聚类模型、预测模型和关联模型来实现发现知识、提取信息的目标。

（1）分类模型。将收集的工业信息应用机器学习技术，通过监督学习或无监督学习，使程序识别数据类别，在这个过程中可人工规定分类标准，也可以让程序自主划分分类标准，继而对数据进行分类，从而构建分类模型。

（2）聚类模型。利用模型识别和对抗神经网络技术通过对各类别数据的比对，对各类数据的特征量进行关联度比较，找出数据间的相似性，将相似的数据集分成一个类，从而进行聚类分析，构建聚类模型

（3）预测模型。实现预测有较多的技术手段，如决策树、贝叶斯分类，集成学习模型，马尔科夫模型等。其原理都是通过对训练集集中数据的反复训练，在防止过度拟合的同时，找到拟合度最佳的参数模型，从而构建预测模型。

（4）关联模型。关联模型的构建一般通过关联规则分析来实现，由于工业生产过程中各个生产环节环环相扣，通过对大量数据的对比，进行关联规则分析，能够找到关键指标，从而建立关联模型[3]。

在四种模型的构建中，通常会运用不同类型的数据挖掘算法，如关联关系挖掘算法、分类与聚类算法、回归与预测算法和机器学习算法等。算法的选择与模型的构建主要根据数据挖掘的不同目标而确定，通过对目标的分析和描述，最终确定构建模型的算法和模型的框架。

模型构建完毕后对测试集数据进行运行并分析，利用可视化技术形成图表，最终形成辅助决策的预测信息。

3数据挖掘技术在工业信息化中的运用

数据挖掘技术在工业中的运用体现在方方面面，如在工业产品生产制造、销售、售后的每个环节都将运用到大数据技术。数据挖掘技术在每一个环节都能用得到，并能提高效率，在实现工业自动化过程中很大一方面都需要依靠大数据的数据挖掘技术。建立工业信息数据库，将有效的数据进行输入，然后再对数据进行分析，提取有用的信息，提高工业的智能化程度。工业中将用到很多工业设备，及时对设备进行诊断是很有必要的，能够精准地抓住设备所出现的问题，然后进行修理，提高机器的运行效率，减少人工操作，将大大地提高机器作业能力。在工业生产领域，数据挖掘技术一般应用在生产安排、质量监督、故障排查和供应链优化四个方面[4]。

（1）生产安排。由于传感器网络和自动识别技术在整个生产过程中的应用，通过对生产全过程的实时动态监控可以实现对物料使用情况的实时监控、对设备健康状况的预先排查，还可以通过数据挖掘技术分析预测完工期、磨具寿命等变量，预先发现生产过程中可能出现的问题，能够减少误差，提高安全性，转变被动应对突发事件的运行模式，保证生产线稳定顺利运行，通过及时主动调整生产计划，最终保证生产工作按时完成。

（2）质量监督。传统质量管理基于产品的质量检查和次品率，是一种节点管理手段，这一管理方式确实能有效保障产品质量，但对于从整个生产过程的角度保证产品质量以及对生产流程优化改善的帮助并不明显。基于数据挖掘技术的质量监督通过对生产过程各个环节重要参数的收集，形成时间序列数据，分析评估与次品相关的关键指标，能够直接在具体的生产环节及时发现导致次品产生的原因，及时进行优化改善，使生产企业在全面掌握产品质量性能的基础上形成质量实时质量诊断系统，智能定位质量问题[5]。

（3）故障排查。传统故障诊断是在设备发生故障后，停运生产线，通过专家判断故障类型，并进行维修，这属于典型的事后管理，处置与维护具有滞后性。基于数据挖掘技术的故障排查是通过设备上的传感器，实时收集设备运转的关键数据，如负荷、震动、温度、压力、电流等。通过数据挖掘的数据分析，与生产数据、知识库进行比对，实现对设备故障的预测和诊断，并自动生成维护建议，从而实现对设备故障的事前管理，提高工作效率。

（4）供应链优化。由自动识别技术、物联网以及传感器技术构建起完整的供应链数据库。利用该数据库，通过回归分析和聚类分析等数据挖掘手段，实时监控全产业链供求变化，挖掘潜在供应链风险。预测物料需求情况和供给情况，在维持低库存的情况下防止避免物料供给不足，以实现库存管理最优化和物流成本最低化。

大数据的数据挖掘技术在工业中的运用还体现在其他很多方面，数据化的发展很大程度上提高了工业的生产效率，提高我国的工业信息化、自动化水平，保证我国的工业健康、稳定、高效地发展[6]。

4结束语

在大數据时代，数据挖掘技术对于工业信息化发展十分重要，面对传统工业的转型，为了能够让工业有序健康地发展，将数据挖掘、大数据分析等新型技术运用到企业发展和生产中是促进工业转型升级的关键手段。提高工业的信息化水平和自动化能力，是符合当今时代对工业发展的要求，更符合《中国制造2025》的国家战略。工业是国家的支柱性产业，优化生产流程，提高生产效率能有效提高我国的工业能力，从而进一步提升我国综合经济实力。面对全球的信息风暴，能够快速准确地将有用的信息挖掘出来，将其运用到工业生产中，促进我国的经济发展，将不同的学科信息交叉相结合，信息互换和交流能够更好地提高技术水平，在工业发展中唯有技术才是保障也是助力，能够有效地提高工业信息化水平。

参考文献

[1] 何沙，胡尧，王林元，等.基于大数据技术的应急决策指挥体系构建——以中国国际石油合作突发事件为例[J].科技管理研究，2017（3）：11-12.

[2] 龚健.数据挖掘技术在农业信息服务中的应用研究[D].合肥：安徽农业大学，2018，16（3）：109.

[3] 姚璐.大数据时代下企业管理及应用[J].科技创业月刊，2018（1）： 82-83.

[4] 于文.大数据时代背景下数据挖掘技术与企业信息化[J].通讯世界，2016，23（2）：62.

[5] 赵颖.面向生产管控的工业大数据研究及应用[J].计算机科学，2019，46（6A）：45-46.

[6] 许宁.基于大数据的数据挖掘技术在工业信息化中的应用探究 [J].现代工业经济和信息化，2017，154（22）：50-54.