数据驱动的工业智能：现状与展望

任 磊，贾子翟，赖李媛君，周龙飞，张 霖，李伯虎

(1.北京航空航天大学 自动化科学与电气工程学院，北京 100191； 2.杜克大学 高级成像实验室，美国 达勒姆 27707)

0 引言

以云计算、大数据、人工智能、5G等为代表的新一代信息通信技术，正推动全球工业制造业迈向数字化、网络化、智能化[1]。国务院《“十四五”数字经济发展规划》(1)http://www.gov.cn/zhengce/content/2022-01/12/content_5667817.htm?type=1。指出：数据要素作为新型生产要素，成为推动数字经济发展的核心引擎。对于工业制造业来说，如何挖掘和发挥工业数据的内在价值，也成为工业制造业数字化转型的核心驱动力[2-3]。工业企业通过挖掘利用隐含在工业数据中的高价值要素，能够促进企业提质降本增效；进一步通过全产业链全价值链数据的深化利用，能够促进产业链的整体优化[4-6]。尤其是近年来工业互联网、云制造等新型制造模式和技术的兴起[7-8]，使得大规模多源异构跨域工业数据的获取和处理成为可能，形成了近年来工业大数据的研究热潮。工业大数据具备多模态、高通量、重机理、强关联等极具工业特色的领域特征[9]，并且广泛存在机理不清的“黑盒”现象，因此传统基于机理或经验知识建模分析的手段难以应对工业智能化应用面临的诸多挑战问题，迫切需要探索数据驱动的工业智能新理论与新技术体系。

与此同时，以深度学习为典型代表的新一代人工智能技术的迅猛发展，为工业智能的发展提供了新的视角与手段。2017年国务院发布《新一代人工智能发展规划》，将智能制造列为新一代人工智能在实体经济落地的首要任务。同时，工业人工智能(简称工业智能)也成为了国内外新的研究热点领域，工业智能的目标之一是将新一代人工智能与工业领域问题进行深度融合，使得工业系统具有自感知、自学习、自决策、自执行、自适应等智能化特征，并应用于产品研发设计、生产制造、经营管理、运维服务等工业制造活动各环节，提升全生命周期智能化水平。其中，以深度学习为代表的、数据驱动的工业智能，成为近年来工业智能领域最具活力的国际前沿焦点研究领域。近年来，国内外研究者从多种多样的具体工业应用问题出发，充分挖掘工业大数据中蕴藏的海量信息，将深度学习与工业智能应用进行融合创新，形成了诸多新模型、新方法、新技术，并已在工业设备故障诊断、装备健康预测、产品质量管控、生产计划调度、产品优化设计等应用中获得成功应用。然而，当前的研究成果绝大多数聚焦于具体问题点的微观创新层面，对于数据驱动的工业智能这一新兴研究领域而言，迫切需要站在更高的宏观层面，对该研究领域聚焦的对象与问题、目标与任务，以及新理论与新技术的逻辑体系进行提炼与分析，以推动这一新兴交叉研究领域更好地向前发展。

本文围绕工业数据全生命周期中的3个关键环节：工业数据预处理、工业数据建模、工业数据分析应用，分类分析探讨了数据驱动的工业智能、尤其是基于深度学习的代表性新理论与新技术体系，并探讨了面向智能制造的典型应用，最后指出了数据驱动的工业智能研究领域面临的挑战和未来发展方向。

1 工业数据生命周期关键环节与工业智能

随着工业互联网、大数据等技术的不断完善发展，工业制造业终端设备全过程数据、产品全生命周期数据、企业全系统数据、产业链供应链全链条数据等各类工业数据的实时获取与高效处理成为可能。工业大数据按来源划分，可分为工业物联网数据、企业信息化数据，以及外部跨界数据[9-10]。在当前基于工业互联网的分布式数据源环境下，一方面，工业领域物联网传感器在时刻收集工业现场生产设备以及产品产生的海量过程数据，这是当前工业大数据中最为主要也是增长最快的组成部分；另一方面，来源于制造执行系统(Manufacturing Execution System, MES)、企业资源计划(Enterprise Resource Planning, ERP)、产品生命周期管理(Product Lifecycle Management, PLM)等各类自动化与信息化系统中的业务数据，也是工业大数据的重要组成部分；此外，与工业企业外部竞争环境相关的客户数据、市场数据、竞品数据、政策法规等动态变化的外部跨界信息，也逐渐成为工业大数据的重要来源之一。工业大数据的形成与发展，为工业智能的发展奠定了基础。

从工业数据处理和应用的角度出发，工业数据生命周期主要包含预处理、建模、分析应用3大关键环节，如图1所示。

(1)工业数据预处理 对于采集到的初始工业数据，第一个关键环节是通过自适应的预处理方法对其进行规范化表征，并为后续智能化的数据分析模型提供有效的高质量数据输入。工业数据通常具有低质高噪、多源、多模态、不均衡等特点[11]，因此,在预处理阶段需要对低质高噪的工业数据进行插补降噪处理，并对其进行多源融合表征，将潜藏于复杂结构工业数据中的信息通过结构简单的数据模式进行统一表达。传统的数据预处理与融合表征通常是利用先验的行业知识进行人工处理，这显然是低效的，且不完备的先验知识很可能导致信息的丢失[12]。基于深度学习的工业数据预处理技术，将跨域异构、低质高噪的工业数据自适应智能化地表征为易于被数据分析模型处理的模式，以便于其隐藏的工业知识被数据分析模型有效挖掘。同时，对于非均衡数据样本，例如小样本或样本缺失问题，还需进行智能化的数据样本增强处理。

(2)工业数据建模 在工业数据预处理环节之后，第2个关键环节是提取核心特征并构建工业数据模型。工业数据的各种核心特征提取与建模，涉及工业高维度数据的低维表征、周期性数据时序特征建模、显著性局部特征建模、多特征抽取协同建模等，为后续分析应用提供智能化模型。

(3)工业数据分析应用 在建立智能化的工业数据模型基础上，第3个关键环节是面向领域的工业数据分析应用[13-14]。主要面向工业制造中各类实际应用问题构建具体分析应用模型，从工业数据中探索模式与规律，并主要提供以下4类工业智能应用：描述性分析、诊断性分析、预测性分析、指导性分析。具体而言，涉及故障诊断、缺陷检测、目标检测、产品质量预测、设备剩余寿命预测、供应链风险预测、生产资源调度、产品质量管控、供应链优化等各类具体工业智能应用。

2 基于深度学习的工业数据预处理

2.1 工业低质高噪数据插补降噪

采集获取的工业数据中广泛存在各种不符合要求的噪声数据、缺失值等现象，在数据融合时不同数据源的同类属性字段也往往存在不一致性的情况，为了能够为后续智能化工业数据分析模型的运行提供高质量的数据输入，工业数据需要在数据采集后进行高效的特征工程，达到改善和提高数据质量的目的[15]。为了解决多噪声数据的问题，文献[16]提出一种系统层级的数据驱动方法来处理这些缺失值，并提出了随机采样数据来识别半导体晶圆缺陷。为了减少噪声数据的影响，文献[17]开发了具有动态加权小波系数的深度残差网络(DRN+DWWC)(如图2a)以自适应地滤除这些多噪声数据，提高了变速箱故障诊断的精度。为了解决数据缺失的问题，文献[18]提出一种称为Itr-MS-STLEcImp的多分段间隙迭代的迭代框架，用于单变量时间序列数据中大间隙的缺失数据插补。文献[19]提出一种称为COF-GRE的两步方法，用于在存在缺失数据以及出现任务级和单元级异常值的情况下，对多变量位置和散度矩阵做出稳健估计。文献[20]提出一种无监督双自编码器(DVAE)，如图2b所示，分别用两个子模型获得潜在特征的分布信息，可以很好地完成数据具有缺失值时的故障诊断任务。

2.2 工业多源异构数据融合

当前，工业智能化应用中涉及的工业数据广泛存在多源异构特点，例如工业互联网终端设备运行数据、产品生命周期数据、企业经营管理数据、制造价值链数据以及外部协作数据等，迫切需要智能化的处理方法实现工业多源异构数据的高效融合[21-24]。智能制造逐渐向复杂化、分布式、动态化发展，因此工业数据融合模型也需要向混合结构、动态模式和分布式过渡[25]。文献[26]提出一种像素级融合方法，将来自多源的数据合并为单分辨率数据，并总结了有利于扩大多源数据融合应用的若干趋势。文献[27]旨在整合工厂现有的基于信息系统和物联网的能源管理系统，开发了一个收集不同来源数据的数据分析架构，以提高改进能源感知决策。所提出的方法从能源角度支持智能工厂的发展，提高了制造中机床的整体设备效率和生产率。现代化工业利用大数据提高工作效率，然而数据采集节点的流量是有限的，因此文献[28]提出一个基于压缩感知的收集框架，这可以在确保数据质量和生产率的同时减少数据采集量。文献[29]提出一种基于宽度—深度—时序(WDS)模型的数据驱动方法，对生产过程多工序多维连续型时序数据，以及来源于供应链多类别离散数据等异质特征进行融合表征，为具有不同类型工业数据的工业过程提供可靠的质量预测，如图3a所示。文献[30]提出一种智能工具状态监测(TCM)的大数据分析框架，采用多源信息融合的方法处理图像数据、三维点云数据和频率信号数据，实现了在不同工作条件下对加工过程的实时监控和自适应控制。文献[31]提出一种基于特征学习的方法，如图3b所示，通过注意力特征学习模型(MSAN)融合多源数据，从而自动提取特征并实时预测刀具的剩余使用寿命。

2.3 工业多模态数据统一表征

由于工业数据来源系统的复杂性，工业智能化应用涉及的数据广泛存在多模态的特点，结构化、半结构化、非结构化数据并存，常面临关系数据、文本、图像、音视频等多模态数据。如何将工业领域多模态数据高效融合、精准表征，是工业数据预处理阶段的重要任务。文献[32]提出一种基于多分支深度神经网络的模型，如图4a所示，其每个分支都是为处理某种类型的数据而设计的。文献[33]提出一种基于自适应动态封装和过程操作编码的新型多模态预测方法，通过经验模态分解处理目标信号以识别特征固有模态函数，根据其重要性和建模复杂性对此类动态进行封装，最后通过自组织图对辅助信号反映的操作条件进行编码并呈现给建模结构。文献[34]提出一种深度耦合自动编码器(DCAE)模型，如图4b所示，该模型可以处理不存在于相应空间中的多模态感知信号，例如振动和音频数据，并将多模态数据的特征提取无缝集成到故障诊断数据融合中。

2.4 工业非平衡数据增强

当前尽管工业大数据在不同行业领域积累的规模日趋增大，但工业数据的分布广泛存在不均衡现象。例如，在设备健康管理的故障预测与诊断任务中，有缺陷的样本数据远少于正常的样本数据。同时，由于工业制造业逐渐向分布式、模块化发展，不同工厂、车间采集的数据汇聚到一起时，数据难以做到完全均衡。而随着工业设备的不断复杂化、集成化，可能出现一些新的未知的状况，缺乏历史数据。数据不平衡会导致数据分析模型性能不佳，因为它们倾向于挖掘数据量更多的类别的特征。这种问题通常有两种解决途径：修改模型和数据增强。文献[35]为了减轻不平衡工业数据中降维和特征保留之间的不一致性，提出一种基于重构特征表示的智能异常检测的变分长短期记忆(VLSTM)模型，如图5a所示。文献[36]中，通过引入次空间，提出一种基于距离的支持向量机(Support Vector Machine, SVM)加权降采样(Weighted Undersampling, WU)方案。文献[37]提出一种生成对抗网络用于不平衡数据故障诊断，通过从数据分布中生成故障样本来恢复不平衡数据集的平衡。文献[38]提出了基于Wasserstein梯度惩罚生成对抗网络(WGAN-GP)的数据增强方法，如图5b所示，生成数据样本来补充故障诊断的少样本数据集，并提高故障诊断的准确性。

3 基于深度学习的工业数据建模

3.1 适用于工业数据建模分析的常用深度学习模型与技术

基于深度学习的方法来构建工业数据模型，实现对于工业数据内在模式规律的分析与预测，已经受到广泛关注，典型代表性方法有：卷积神经网络(Convolutional Neural Networks, CNN)[39-40]、循环神经网络(Recurrent Neural Network, RNN)[41-42]、自动编码器(Autoencoder)[43-44]以及图神经网络(Graph Neural Network, GNN)[45-47]等深度学习方法。与传统方法相比，基于神经网络的工业数据预测方法在趋势性、单调性以及尺度相似性方面能够获得较好的效果[39]。

由于工业应用场景的复杂性，完备的工业数据往往难以采集获取，导致传统的神经网络模型训练模式难以满足当前工业数据分析任务的需求。随着新一代人工智能技术的发展，研究者提出了一系列新的神经网络模型构建策略，如迁移学习(transfer learning)[48-49]、对抗学习(adversavial learning)[50-51]、生成学习(generative learning)[52-53]、注意力机制(attention mechanism)[54-55]等，为日趋复杂的工业智能化应用提供了解决思路。

3.1.1 工业数据建模分析常用的深度学习模型

(1)卷积神经网络类

CNN在挖掘数据的局部特征方面具有很好的性能，并且具有良好的特征提取能力和泛化能力，由此成为了应用最广泛的深度学习模型，可以用于工业数据的预测和分类。网络的性能取决于网络的深度、宽度、感受野尺寸等参数。近年来，在深度学习领域对CNN的研究持续不断，研发出了ResNet[56]、GoogleNet[57]、EfficientNet[58]等性能优越的CNN网络。工业大数据分析领域，基于CNN的模型也是学者们关注的重点。例如，文献[59]中设计了一个基于具有增量学习的宽卷积神经网络(BCNN)的故障诊断模型，可以提取故障趋势和非线性结构，以捕捉故障过程的特征，并更新诊断模型以包含新出现的异常样本和故障类别。文献[60]提出一种新颖的基于门控卷积神经网络的Transformer(GCT)，如图6a所示，用于工业过程的动态软传感器建模。对时间序列数据的短期模式进行编码，并利用改进的门控卷积神经网络自适应地过滤重要特征，之后将多头注意力机制应用于任意两个矩之间的相关性建模。文献[61]提出一种云端-边缘协同的轻量化时间卷积神经网络模型Cloud-Edge LTCN，在兼顾精准性的同时大幅提升了推理速度,如图6b所示。文献[14]提出一种基于双CNN模型架构的设备的剩余使用寿命预测方法，分别通过两个CNN模块识别初始故障点和预测RUL。

(2)循环神经网络类

RNN类的神经网络可以用来挖掘时序数据的时序特征，典型的RNN类神经网络有长短期记忆网络(Long Short-Term Memory, LSTM)[62-63]和门控制循环单元(Gated Recurrent Unit, GRU)[64-65]。LSTM和GRU是典型的门控网络，在循环神经网络的基础上加入门控机制，用于对长期记忆信息保存、舍弃，可以有效提取特征中长时间跨度的依赖关系，并且可以避免梯度爆炸和梯度消失。RNN类神经网络由于十分适用于挖掘工业物联网时序类数据的内在特征，成为了工业智能应用最广泛的神经网络模型之一。例如，文献[66]提出一种通过提取动态时延，以重构多变量数据的改进的基于注意力的长短期记忆网络预测模型，预测工业多元时间序列。文献[67]通过引入输入的动态信息来构建新的网络单元，提出一种用于复杂工业过程中的关键变量预测建模方法——差分长短期记忆网络(DLSTM)，如图7a所示。文献[65]中提出一种多尺度密集门循环单元网络(MDGRU)用于轴承剩余使用寿命预测，如图7b所示，可以捕获序列特征并集成不同时间尺度的信息。

(3)自动编码器类

自动编码器是一种无监督的神经网络模型，可以用来挖掘数据的隐含特征[68]。自动编码器包含编码器(encoder)和解码器(decoder)两部分，分别用于挖掘数据的显著特征和对原始输入数据重构。由于自动编码器的模块化的结构属性，使其相较于其他网络结构具有较好的可解释性。当前，自动编码器成为了工业数据智能分析领域的常用模型[69-72]。文献[73]提出一种堆叠局部保持自编码器(S-LPAE)，如图8a所示，利用局部保持自动编码器(LPAE)训练数据集附加局部保持约束，从而使潜在特征可以更好地保持局部数据结构，用于流程工业的过程监控和预测。文献[74]提出一种基于深度自动编码器和深度神经网络(deep autoencoder)的轴承RUL预测框架，如图8b所示。文献[75]提出一种协作链路预测模型(CLPM)，该模型使用堆叠去噪自编码器(SDAE)通过历史链路信息预测基于IIoT的MD在下一时刻的链路。

(4)图神经网络类

图神经网络可以从非欧式空间获取工业数据的关联性特征信息，用来学习数据特征间的相关知识[76]，由此受到工业数据分析相关学术界学者的关注。文献[45]提出一种基于新型半监督图卷积深度置信网络算法的机电系统智能故障诊断方法(SSGCDBN)，如图9a所示。文献[77]使用结构分析方法对故障进行预诊断，得到故障关联图，利用引入权重系数的图卷积网络(SA-GCN)构建故障诊断模型，如图9b所示。

(5)多种深度神经网络模块混合模型类

各种不同神经网络模型的工业数据智能分析模型分别具有其独特的优势和各种约束条件，可能难以应对复杂的工业数据建模任务。为了利用各种神经网络的优势，两种或多种神经网络模块的集成或组合，经常被用于各种工程应用。例如，文献[78]提出一种基于自编码卷积长短期记忆网络模型Auto-CNN-LSTM的制造业数据扩维特征提取方法，如图10a所示。文献[79]聚合CNN和LSTM提出一种新的态势感知模型CNN-LSTM，如图10b所示，具有在时空测量数据上实现协同数据挖掘的优势，可以同时检测当前准确故障位置并预测系统未来稳定性状态。

3.1.2 新型工业数据建模策略

(1)迁移学习

迁移学习是一种工业数据智能分析问题的常用手段[80-86]。由于在高度动态的智能化生产环境中，生产的产品、工具和流程可能定期或随时更换，需要迁移学习这种手段，通过任务间知识迁移，在之前的知识的基础上构建新的数据分析模型，以减少分析成本[83]。文献[84]提出一种基于任务的偏置域适应网络(TBDA-Net)解决工业数据驱动的故障诊断中的小样本问题，如图11a所示，利用自适应维度对齐子网克服不同域的维度对齐导致的目标域信息丢失，并保护多源样本的多样性以提升模型泛化性。文献[85]提出一种深度卷积迁移学习网络(DCTLN)用于机器智能故障诊断，如图11b所示，以解决历史故障数据不平衡的问题。文献[86]提出一种基于迁移学习的故障诊断方法，从多个旋转机器的充足监督数据中学习到的诊断知识通过域对抗训练迁移到目标设备。

(2)对抗学习

对抗学习是深度学习领域广泛研究的神经网络构建策略，运用博弈论的思想以充分利用数据资源[50-51]，并提升模型鲁棒性和完备性[87]。对抗训练一般通过两种方式实现：①以生成对抗网络[88](Generative Adversarial Net, GAN)、域对抗神经网络[89](domain adversarial neuralnetwork)等模型为代表的神经网络，通过不同模块间的对抗博弈实现；②以投影梯度下降[90](Projected Gradient Descent, PGD)、快速梯度法[91](Fast Gradient Method, FGM)等为代表的，通过不同优化目标间的对抗实现。由于工业数据分析的需求，对抗学习在近几年逐渐受到相关领域学者的关注。例如文献[92]提出一种对抗样本选择策略，提升模型对IIoT中干扰数据的鲁棒性，如图12a所示。文献[72]提出对抗自编码器(AAE)，如图12b所示，获取数据信息流形特征，用于构建和监控统计数据，提高故障检测的稳定性和可靠性。

(3)生成学习

在工业数据分析任务中，生成学习通常与其他任务相结合，通过生成各种类型的伪样本，作为真实样本的补充，或作为扰动样本通过对抗训练提升模型鲁棒性。常用的生成学习模型有生成对抗网络[88]和变分自编码器(variational autoencoder)[93]。文献[94]提出使用生成对抗网络训练的变分自动编码器(VAE-GAN)以提升设备剩余使用寿命预测的鲁棒性，如图13a所示。文献[95]提出一种基于GAN的缺陷图像生成方法，用于缺陷检测，如图13b所示。

(4)注意力机制

注意力机制可以使模型将计算资源聚焦于更重要的信息。近年来由于Transformer这种基于Attention机制的神经网络的提出以及其优越性能，Attention机制成为了深度学习领域极其火爆的热点，并受到工业数据分析领域学者的广泛关注[96-98]。例如，文献[96]提出一种基于多通道时间注意力的网络(MCTAN)用于飞机发动机的健康指标预测，如图14a所示，通过通道注意力衡量不同通道的贡献，并通过多头局部注意力机制有效提取潜在的长距离时间关系。文献[54]提出一种基于特征注意的端到端的机器剩余使用寿命预测方法(AGCNN)，如图14b所示，利用注意力机制为特征加权。

3.2 工业数据特征提取建模

工业数据特征提取与建模分析任务主要包括工业高维度数据的低维表征、工业数据周期性时序特征建模、工业数据显著性局部信息抽取、工业数据多特征抽取协同建模等。

3.2.1 工业高维数据的低维表征

在制造系统中，物联网以及大数据集成系统将各种不同数据汇集到一起，过于庞大的数据规模不仅会导致计算和存储资源的浪费，同时冗余的信息还会导致数据分析模型性能的下降[99]。因此，需要对高维度的工业数据进行特征提取，在确保数据包含足够的工业特征信息的同时，尽可能地压缩数据的体量。针对该问题，文献[100]提出一种基于协同深度动态特征提取和可变时延估计的新型数据驱动的工业质量预测器，如图15a所示，利用一种半监督动态特征提取(SSDFE)网络来提取非线性动态特征，以建立用于输出质量预测的回归模型。文献[101]提出了联合高阶正交迭代(J-HOOI)算法用于联邦张量分解(FTD)模型，如图15b所示，用于联邦学习框架下的高维工业数据的特征提取和降维。

3.2.2 工业数据周期性时序特征建模

工业物联网中，传感器采集的数据大多是时序数据，例如震动数据、加速度数据、温度数据等。这些信号在时间维度上的周期性变化可以诠释物联网中设备的状态变化趋势，对于提高预测精度具有重要意义。因此，对于工业大数据中时序性特征的挖掘就显得极其重要[102]。为了处理时间序列数据，文献[103]提出了一种自适应滑动数据窗口方法来提取时间序列特征。为了分析工业大数据的时序性，文献[104]开发了一种基于错位时间序列卷积神经网络(DTS-CNN)的新型诊断框架，利用神经网络的错位层，提取机械振动信号中的多尺度周期性特征。文献[105]提出了一种张量方案以及一种称为多元卷积神经网络(MVCNN)的新型深度学习架构，如图16a所示，用于多元时间序列分类，其中所提出的架构考虑了多元和滞后特征。文献[102]利用时间项张量和张量环分解技术提出一种多尺度轻量化的Transformer(TR-LT)，利用高维度的模型实现多时间尺度的特征提取，用于装备核心部件的剩余寿命预测，如图16b所示。在石油生产中，时间序列数据存在大量的非线性和复杂性，文献[106]利用长短期记忆网络，能够解决传统预测方法的局限性，提高了预测的准确性。

3.2.3 工业数据显著性局部信息抽取

工业物联网所采集数据中的信息往往是稀疏的，针对某一工业问题，数据中的有用信息可能主要存在于与某一时空相关的数据中。因此，工业深度学习模型需要更专注于找到数据中显著的当前任务相关的有用信息，这对于工业预测模型的精度和速度都极其重要。为解决这一问题，文献[107]提出了一种基于时空注意力的LSTM网络(STA-LSTM)用于软传感器建模，如图17a所示，它不仅可以识别与每个时间步的质量变量相关的重要输入变量，还可以自适应地发现所有时间步与质量相关的隐藏状态。文献[108]为了准确预测滚动轴承的RUL，提出了一种具有双重注意门的门控循环单元神经网络GDAU，如图17b所示，比传统的预测方法具有更高的预测精度和收敛速度。

3.2.4 工业数据多特征抽取协同建模

很多工业场景中，多种不同形式的工业特征信息同时存在于工业数据中，因此需要混合的模型协同地抽取这些工业信息。例如文献[109]提出了一个自监督长短期记忆深度分解机模型(LSTM-DeepFM)用于产品质量预测。该文献提出了一个主要包括预训练和微调阶段的框架来探索不同的工业数据特征；预训练阶段使用LSTM-Autoencoder预训练，基于两种自监督掩码策略，利用LSTM-Deep探索特征之间的相互依赖关系和时间序列的动态波动；微调阶段，依靠预训练的表征，分别从LSTM、DNN和FM分量中提取时序、高维和低维特征，如图18a所示。文献[63]提出一种量化张量训练分布式长短期记忆(QTT-DLSTM)，利用张量对工业数据的多种属性表征，并从多属性的角度对工业信息物理融合系统大数据进行处理和分析，如图18b所示。

4 基于深度学习的工业数据分析应用

海量的工业互联网数据为在已有的历史数据的基础上总结规律、发现问题并指导决策提供了数据基础。工业数据分析技术，从应用的角度划分，大致可分为描述性分析(descriptive analysis)、预测性分析(predictive analysis)、诊断性分析(diagnostic analysis)和指导性分析(prescriptive analysis)应用[110]。由于描述性分析实现手段相对简单，因此不作为本文调研的重点。

4.1 预测性分析

利用基于深度学习的工业数据智能分析方法构建模型，可以对工业行为的状态监控，以及对未来状态做出预测[13-14]，根据预测结果对进一步的措施进行指导。此类应用是当前数据驱动的工业智能的核心主流应用之一。基于深度学习的工业数据智能分析模型可以帮助制造商理解趋势和预测未来的结果，并解耦信息来提供洞察力和预测。相关的应用场景非常多，例如产品质量预测、设备的预后与健康管理、供应链风险预测等。例如，文献[111]中提出了一种基于半监督并行deepFM模型的高效软传感器，如图19a所示，分别利用DNN和FM两种网络结构分析物联网时序数据和工业软件的离散数据，用于产品质量预测。文献[112]依靠人工智能和供应链专家之间的协同作用，提出了一个数据驱动的供应链风险预测框架，如图19b所示。然后，通过在实际多层制造供应链中预测交付延迟的情况下实施和应用该框架来探索预测性能和可解释性之间的权衡。文献[113]将供应链可见性问题作为链接预测问题，通过图神经网络检测买家未知的潜在链接。

4.2 诊断性分析

在工业大数据的协助下，工业数据分析模型可以对工业场景中已发生的事故的根源进行分析。基于深度学习的工业数据智能分析方法，可以较快速地对异常定位。相关的应用有工业设备故障诊断[114-115]、目标识别等[116-118]。工业设备的故障诊断是工业大数据分析的重要任务之一，一直是学术界和产业界关注的热点[119-122]。例如文献[119]中提出一种用一维卷积神经网络提取故障信息的故障诊断模型，如图20a所示。文献[120]中提出了一种基于深度迁移卷积神经网络的在线故障诊断方法，如图20b所示。目标识别是工业生产中的重要应用。文献[121]中提出一种在不利的光照条件下稳健地识别编码目标的算法。文献[122]通过目标RGB-D图像的快速识别和深度方向的精确测量来强化工业视觉伺服系统的性能指标。

4.3 指导性分析

利用行业相关的工业大数据，工业智能分析应用可以对未来的行为做出指导和决策。典型的应用场景有供应链优化管控[123]、生产计划调度[124]、生产资源调度等[125]。文献[123]提出了一种新型多智能体强化学习模型，如图21a所示，同时优化了供应链配送问题中的路线长度和车辆的到达时间。该模型设计了多个路径记录器来提取车辆的路径历史信息并实现它们之间的通信。同时设计了一种多重采样策略，并获得了计算时间和性能提升之间的平衡边界。文献[124]提出了一种新的双目标模型来处理集成生产计划和基于可靠性的多级预防性维护调度问题。文献[125]提出了一种混合计算框架，如图21b所示，并设计了一种智能资源调度策略，以满足边缘计算支持的智能制造的实时性要求。

5 面向智能制造的典型应用

5.1 设备健康管理与预测性运维

工业大数据驱动的复杂装备关键指标预测与健康管理(Prognostics and Health Management, PHM)，通过分析生产制造流水线的过程监控数据、设备运行的实时状态数据等，揭示系统故障的特征，提前主动识别系统运行过程中的潜在异常，诊断异常的根本原因，预测系统的剩余寿命[126,78]。

在PHM任务中分析的工业数据包括设备的震动信号、加速度信号、温度数据、光信号、声信号、电气属性等。在以深度学习为代表的新一代人工智能广泛应用于PHM任务之前，PHM任务主要分为数据特征提取和之后的预测两个步骤。而深度学习打破了这两个步骤的边界，可以直接利用采集的工业设备数据，对设备的健康状况进行预测[74,127-128]。例如，文献[129]开发了一种锂电池的剩余使用寿命预测模型，在使用经验模态分解(EMD)方法后，将原始电池容量数据分解为一些固有模态函数(IMF)和一个残差，之后，应用长短期记忆(LSTM)模型来估计残差，同时使用高斯过程回归(GPR)子模型拟合具有不确定性水平的IMF，该方法可以直接同时捕获容量的长期依赖性和容量再生引起的不确定性量化。文献[130]提出一种使用时频表示(TFR)和多尺度卷积神经网络(MSCNN)的剩余使用寿命估计方法。文献[131]开发了一种基于强化学习的学习率调度器，用于故障分类，并有效地自动调度学习率，可以自适应地实现PHM模型的训练。

5.2 产品质量管控

在产品全生命周期管理(Product Life-cycle Management, PLM)中，数据驱动的工业智能技术能够利用产品制造过程数据和质量检测数据[109]，进行产品质量管理，实现产品生产的可追溯性，并对流程进行优化[132]。通过对产品质量与原材料质量、设备状态参数、工艺流程、车间环境等因素的相关性分析，确定影响产品质量的主要因素；再此之上，通过构建产品质量与这些因素的线性、非线性映射关系，从而对产品的质量做出精准的预测。进一步，利用智能优化算法对产品生产过程进行优化调度，可以实现自适应的产品质量监控和优化管控。

产品质量预测可以分解为两个任务：①影响因素与产品质量指标的相关性分析，用于大数据分析的特征选择，实现低成本、高效的预测；②数据驱动的产品质量预测模型构建，实现最终的质量指标预测。传统的数据分析方法分析了各种因素与质量指标之间的相关性，从而揭示了产品质量问题的原因。然而，这些方法使用的是人为定义的相关性指标，这些指标可能并不能全面深入地诠释各种因素与质量指标的关系，因此，所分析的相关性可能是有偏差的，导致对关键因素识别的不准确。以深度学习为代表的新一代人工智能技术，在这里可以看作是黑盒模型，可以自适应地提取影响因素与产品质量指标间的关系，因此在该领域受到广泛关注。文献[133]提出了一种在批量操作期间实时预测最终产品质量的方法，通过多模型协同，捕捉操作过程信息与最终产品质量的时变关系，从而实时预测产品质量。文献[134]开发了域适应极限学习机(DAELM)，建立了一个简单的软传感器模型，适用于标记数据有限的多级过程。此外，还开发了一种有效的模型选择策略来选择其模型参数。通过利用不同工况的有用信息，并将其传递给现有的软传感器，扩大了预测域，提高了预测精度。

5.3 工业机器视觉

新一代人工智能，特别是机器视觉技术已被广泛应用于工业制造过程中的产品质量检测和质量保证。制造系统中的产品质量检验过程是评估零件或产品的某些特征，通过将测量结果与指定的质量要求进行比较来确定该零件或产品是否符合质量标准。

在机械加工行业，机器视觉技术已被应用于检查机械加工表面，弹簧夹缺陷，以及装配线上的部件损坏等[135]。为了实现对于生产车间中质量检测过程的远程监控，基于计算机视觉和网络的质量监控系统也被开发和应用。通过运用不同机器视觉分类方法，可以实现装配机不同故障的检测和分类，这些方法包括斑点分析、光流分析和运行平均法等。另外，机器视觉算法还被用于粉末机中粉体散布异常的自动检测和分类，实现了生产现场质量监测和分析[136]。在汽车行业，机器视觉技术也被广泛应用于不同的任务，如表面质量检测、车轮定位和位置校准等。机器视觉算法不仅可以实现平滑坡度变化区域的车辆表面质量检测，还可以实现在边缘、角落和深凹处的表面缺陷检测[137]。通过多尺度矩阵融合方法，可以从汽车5个侧面的图像中提取候选缺陷区域，并根据形状、大小、统计等特征将这些候选缺陷区域分类为伪缺陷、凹痕和划痕等[138]。另外，机器视觉技术还被应用于纺织行业中纤维质量的检测、3D打印过程中的打印质量检查、显示器质量检测、瓷砖对齐检测等不同行业中的质量控制问题[139]。

5.4 产业链供应链优化和生产计划调度

产品的供应链涉及从生产到销售、服务的整个流程，供应链的优化对于减少成本、提升效率具有极其重要的意义，也是工业大数据分析的主要应用场景之一[140]。供应链优化与预测作为一种系统级的复杂问题，包含需求预测[141]、风险预测[112]、生产资源调度[142]、生产计划调度[143]等子问题。供应链的优化与预测是企业经营管理的核心问题之一。高质量的供应链管理系统可以有效分配生产资源，并可以对各种突发状况表现出较高的鲁棒性。然而，传统的预测与调度方法主要关注静态环境下性能和资源的优化利用，这可能会导致静态进度的恶化或失效。人工智能驱动的大数据分析[144]为动态环境中的生产计划和调度的优化提供了一系列有效的方法和手段。

工业大数据驱动的人工智能技术可以为供应链预测和调度决策提供全面的信息支持。例如，文献[145]提出一种基于人工神经网络的预测系统，对供应链绩效作出前瞻性诊断，并促进理性决策。文献[146]提出一种深度强化学习方法，调度自动化生产线，避免手动提取特征并克服缺乏结构化数据集的问题，提高了自动化生产线的适应性和灵活性。文献[147]提出一种有效的任务调度方法DDQN-TS来实现有限资源的高质量服务，它利用双DQN(DDQN)的自适应学习能力来探索最优的任务调度策略。文献[148]提出了一种基于人工智能的优化调度来协调不同天气和负载条件下的气体、热量、电力和碳之间的相互作用。

此外，工业互联网、云制造等网络化制造环境中的计划和调度问题也越来越受到研究者和工程人员的关注，主要方法包括基于启发式智能优化算法的调度[149-150]、基于仿真的动态调度[151]，以及跨企业生产物流协同调度[152-153]等。

6 工业智能面临的挑战以及发展方向

6.1 工业智能“黑盒”模型可解释与高可信

近年来工业界所采用的新型人工智能技术大多基于深度神经网络的“黑盒”模型。尽管这些模型在部署成本、精度等方面表现优异，然而深度神经网络内部运行状态的可解释性较差，人们只能看到数据的输入输出，不能观测到深度神经网络内部的详细运行状态。这些工业智能“黑盒”模型具备高度复杂性和不确定性，缺乏透明度，以至于难以对这些模型的可靠性和可信度作出评估[154]。这导致工业智能“黑盒”模型难以在航空航天、核工业等具有高可靠性和高可信性要求的行业广泛深入地应用。不只是工业制造业，在各个领域，人工智能模型可信已经成为了全球共识[155-157]。近几年，可信相关的人工智能论文数量也在逐年增长。人工智能领域顶级会议AAAI连续数年组织可解释人工智能(explainable AI)专题研讨，并且保持火热的研究态势[158-160]。ACM也连续数年发起ACM FAccT(Fairness, Accountability and Transparency)学术会议[161]。因此，基于深度学习的工业智能模型的未来，将向可解释、高可信的研究方向发展。目前已有学者对深度神经网络的可解释性作出尝试，例如通过建立适当的可视化机制，对模型和中间态数据作出定性的解释。

6.2 工业互联网云边端融合智能

随着近年来工业互联网、云制造等新模式新技术的发展[162]，工业应用呈现出云、边、端分布式、协同化的趋势。一方面，工业云作为工业大数据汇聚与存储的中央载体，承载着工业大数据集中化训练学习与分析处理的任务;另一方面，工业互联网连接的各类生产现场终端所产生的实时数据，亟需在工业现场进行实时性处理与分析。为了应对工业云与工业现场的数据处理与分析矛盾，工业互联网边缘计算与边缘智能成为近年来的研究热点，边缘侧所承载的功能性和性能性目标任务也日益增多[163]，工业云与工业边缘计算的协同成为了解决该矛盾的关键技术，也成为了当前工业互联网领域的重要支撑技术[164]。目前，学术界已提出多种基于云计算、边缘计算、雾计算的工业人工智能模型，并引起了产业界的广泛关注[165-167]。然而，目前的研究还处于初级阶段，如何根据工业互联网数据在云边端分布的特征模式与工业应用的独特特点，设计适合工业互联网应用场景的分布式工业智能模型，如何实现工业智能模型在工业互联网云边端架构下高效优化协同运行，仍面临诸多挑战。因此，工业互联网云边端融合智能也是未来的重要研究方向。

6.3 工业智能模型泛化与自适应

工业制造业的应用场景千变万化，且存在着广泛的不确定性。例如，类似的工业制造任务在不同的工况下往往呈现不同的结果，当工况发生变化时，之前行之有效的工业数据智能分析预测模型可能并不适用于新的工况。尽管基于新的工况并利用新的工业数据来学习与部署新的工业数据智能模型是一种可行的解决方案，但是这会造成大量的人力、资金和时间成本的浪费。同时，新的工业数据智能模型部署过程中，对之前应用场景中老问题分析能力的退化，也是用户不希望看到的。这需要工业智能模型既可以学习适应新应用场景的特性与规律，同时又能够保持之前已有应用场景的适应性能力[168]。因此，如果能构建一类具有适应性和强泛化能力的工业智能模型，将大力推动工业智能模型在千变万化的工业应用场景的应用落地。目前在深度学习领域，具有代表性的迁移学习已被广泛应用[169]。上述具有强泛化能力和自适应能力的工业智能模型可以看作是迁移学习、多任务学习和终身学习的整合与创新，是未来的重要研究方向。

6.4 工业智能模型轻量化与实时解算

当前研究界提出的大量工业智能模型，主要关注具体工业应用中分析预测任务的精准度，而忽略了工业智能模型在工业应用中的计算时间效率和计算资源消耗问题[57]。受限于工业设备的数据计算和存储能力，很多大型的深度神经网络模型并不能很好地胜任工业现场的分析预测任务。同时，高速机器人控制、产品质量检测等对于实时性要求极高的工业现场任务，要求工业智能模型的解算达到毫秒级。因此，设计轻量化、计算效率高的工业深度神经网络模型，成为了工业智能领域近年来的研究热点与发展趋势。目前，深度神经网络的压缩方法有参数压缩[63]、剪枝[170]、蒸馏[171]等，如何将这些方法融合应用于适于工业应用特性的深度神经网络压缩，是解决工业智能模型轻量化的关键。同时，针对特定的工业应用任务的数据特点，如何设计自适应动态跳出(dynamic dropout)的神经网络[172]，也是一种可行的解决方案。工业智能模型的轻量化设计与实时解算算法，将是未来重要的研究方向。

6.5 工业智能“大模型”

近年来涌现的各类工业智能技术大多是源自特定工业领域应用需求而形成的特定领域问题强相关的“小模型”技术，随着新一代信息技术与工业制造业的融合发展，形成了日趋复杂的工业信息物理融合系统(cyber physical systems)，人工智能在工业制造业将面对越来越多大系统层面的复杂问题。例如，基于工业互联网形成的大规模智能制造产业链供应链系统的分析预测与优化管控问题，涉及具有复杂关联关系的跨行业、跨企业、跨流程的多层级工业制造系统，对此类复杂系统内在运行机理与模式规律的学习，将面对超大规模多源异质工业数据驱动的、大规模子问题深度学习的大集成问题，当前已有的适用于特定领域单项子问题的工业智能“小模型”技术难以应对，迫切需要探索适用于此类大型复杂工业系统问题的新型工业智能技术。基础模型(foundation model)或大模型(big model)技术为该问题提供了一种可能的解决方案[173-174]。大模型作为深度学习领域刚刚兴起的最新研究热点，提供的是一种基础性、同质化的“基石”模型技术，能够支持模型预训练和下游任务的快速适配，能够突破当前各类小模型结构层面的精度局限，近年来已不断突破百亿、千亿、甚至万亿级模型参数规模，并在自然语言处理、生物计算等领域获得初步成功应用，例如Bert[175]、GPT-3[176]、switch Transformer[177]和Alphafold[178]等模型已展现出惊人的性能。当前，大模型在工业制造业的探索仍属空白，工业智能“大模型”未来将有望成为解决工业制造业智能化进程中诸多高度复杂问题的颠覆性技术之一。

7 结束语

基于大数据和深度学习的新一代人工智能技术，在智能制造应用需求的牵引下，正在推动全球新一轮工业革命向智能化方向发展。数据驱动的工业智能新理论和新技术，作为国际前沿研究热点，在国内外掀起了新一轮研究高潮。本文从工业数据全生命周期中数据预处理、数据建模、数据分析应用等3个关键环节出发，分析了数据驱动的工业智能，尤其是基于深度学习的代表性新理论与新技术。同时，深入探讨了面向智能制造的工业数据智能典型应用。最后，指出了数据驱动的工业智能研究领域面临的挑战和未来发展方向，将为这一新兴交叉研究领域的发展，提供重要的理论与技术参考。