一种基于深度学习算法的在线空调声纹识别技术

刘 伟 徐 强 赖泽丰

（珠海格力电器股份有限公司 珠海 519070）

引言

社会、企业、消费者日益关注企业声誉，各行业竞争日益加剧。传统空调生产线的质量检测都是靠检验人员耳听、手摸、眼看等方式进行，这些方式不仅会受检验人员主观因素及经验差异性的影响，导致产品质量检测过程难以实现一致性和可靠性，而且会因为人无法识别的原因导致很多产品缺陷难以检测，从而导致次品流入市场，给企业带来巨大的损失。

为了解决上述问题，通过前期的技术探索，发现借助目前的人工智能技术手段才能够彻底解决上述的问题，特提出通过声纹特征对空调质量进行检测的技术方案：

规划检测生产线：环形和台站式生产线分内机、外机共计4 条产线；

检测的空调类型：主要针对家用外机、家用内机和商用风管内机，本次按照1 000种空调类型进行设计。故障分为四大类：风叶碰响、气流声（液流声）、管道碰撞、其它异响，见表1。

表1 故障分类明细表

1 总体实现功能

本文结合实际检测需求进行了实现功能的总体设计和规划。

1.1 样本存储

在模型建立完成之后，通过在各质量检测点设置的声音采集设备采集空调声纹，并通过网线传输到主机上，由主机将声音格式.wav提取为声纹特征信息.mat，再通过模型判断，打上标签之后，根据资源存储分类原则，将该信息存放在模型训练集群存储资源对应的位置上。

其中按照内机和外机、不同产品类型、不同故障类型进行存储；存储声音特征数据名称为Product_ID_Fault_name_YY-MM-DD hh:mm:ss。

1.2 样本可溯源

可溯源修改标签，在后续检查中发现，由于某些标签的原因导致某一故障误判逐渐增加，则可追溯分析，修改此类别标签。

1.3 存储风险保护

音频发送模块发送音频之后，若发送失败，则认为网络传输故障，此时在界面显示，并进行声音提醒。将采集得到的音频信息，送入系统中，根据Flink架构，将其分配到相应的处理时间和相应的处理模块中去，模型空调的合格判断，并输出最终的判断结果，得出产品是否合格或者故障类型，指出故障发生的空调器件,协助检查人员对空调故障迅速定位检查。

1.4 系统扩展

在软件设计初期，采用微服务架构，保留需求和空调类型、空调故障类型扩展接口，支持需求和空调类型、空调故障类型的扩充，保证随着业务的扩展，系统能够根据新的类型数据，进行训练，得到新的涵盖新的类型的训练模型，提高系统的扩展性能。

1.5 系统总体框架图设计

前端层基于目前前后端分离开发模式，快速构建应用系统。前端主要依托UI框架、WEB Framework、前端服务化、组件化以及快速脚手架的方式搭建前端应用系统，通过AJAX技术，请求并接收后台微服务化RESTFUL API的JSON数据，渲染前端功能。由于部署在生产车间，只需要支持应用终端PC即可。

网关层（api-gateway）主要对外释放微服务架构所提供的相关服务，主要包括预测结果可视化api和业务分析api。来响应和组合用户不同场景的应用系统。

服务化平台主要是分布式微服务化架构提供技术支持，实现认证授权、服务注册，保证系统的安全性。

基础组件层：该层主要为系统平台介于数据层之上的基础组件，主要提供平台日志记录、监控、数据访问方式、配置中心、任务调度中心、消息中心、分布式缓存、全局唯一性标识的底层技术支撑。为平台提供全面容错策略。

存储层：该层主要实现数据存储方式的搭建，根据限定的存储方式，容易验证和追查，并为模型的自适应学习提供了数据的支撑。

DevOps平台层：该层是平台的开发和测试平台，主要为平台迭代构建出高可用、扩展性强、安全性强的快速开发测试及部署平台，简化相关环节流程，保障系统健壮持续发展。

容器网络层：整个平台所构建和部署的基础为DOCKER容器化技术、网络协议等系统平台支撑提供运行环境的保障。该系统平台的设计，主要遵循标准的安全协议、运维协议，打造全生态的高端平台，提供高效服务。

2 整体方案设计

2.1 核心软件架构

整体系统架构中，其核心处理模块是产线上产品缺陷检测功能，对于该检测功能的内容，设计出如下的软件架构如图2所示。

图1 系统总体方框图

图2 软件系统总体方框图

上述的软件架构主要包括空调音频采集功能、空调信息处理模块、音频转换功能、空调音频标定功能、空调缺陷检测功能、模型自主学习功能、结果展示及交互功能等。

第一步声音采集：在目前的每一个质检口放置一台音频采集设备，将收集到的音频直接传送到预测集群的电脑上，对应的电脑按照设定的区域进行缓存，在判断出产品质量之后，按照情况判断是否需要及时清除掉和打上标签自动上传到模型训练集群中对应的存储资源位置上。

第二步空调信息处理：此处需要与现有系统相连，获取当前空调产品类型，随后与系统中的“空调信息处理模型”相结合，分析出当前空调产品的声音信息与其对应的模型ID；

第三步空调缺陷检测：在通过“空调信息处理模块”、“模型调度模块”以及预处理等一系列操作之后，调用对应的模型对采集到的音频信息进行判断，判断结果传送到“标签生产模块”中去，得到空调质量的检测结果，将结果呈现到“可视化模块”进行统计和展示。

第四步样本存储：在空调质量判断之后，将音频信息传送到“存储分配模块”，结合“空调信息处理模块”和“标签生产模块”，根据既定规则，将其传送至“存储/训练”服务器集群中去，并将其存储在对应的存储空间中。

第五步可视化展示：将空调质量检测判断结果进行呈现，同时完成“人机交互”功能。

第六步模型自适应训练：根据设定规则，模型自动驱使进行再训练，根据“进程管理模块”和“资源调度模块”，决定“存储/训练”服务器集群中在什么位置获取训练样本和哪些模型进行再训练。

2.2 硬件架构及配置

由于数据信息小而杂，因此不推荐使用NAS架构，而是将数据存储在模型训练服务器集群内部的固态硬盘里，这样能够增加模型的训练速度，减少时间长度。经分析，建议的系统架构如图3所示。

图3 服务器系统架构图

2.3 检测解决方案

1）空调产品质量检测系统

保持产线的生产工艺工作流程，与目前内部系统接口内容：当前产线信息、当前产线生产产品信息、各类型空调组成器件说明信息。

检测系统生成产品检测报告，并将该分析报告主动上传到MS系统中去，同时检测系统会将报告保留一段时间，时间长度为L，暂定30 day；系统主页面/结果呈现界面如图4所示。

图4 系统主页/结果展示界面图

通过系统，可得知当前预测空调类型，调取对应的模型，对空调质量进行检测。模型预测之后，通过网络将空调质量检测结果以JSON的形式上传到应用服务器，将检测结果进行展示，其展示效果如图4所示，主要说明如下：

每一条产线上的多个质检位置点的检测结果汇总到该产线对应的应用服务器上进行结果展示；故障诊断结果中显示信息包括产品信息、产品类型、质检位置（产线和质检口）以及产品诊断故障类型；待复诊信息，在一条生产线上多个质检口出现故障产品时，此处会记录各个故障产品信息，方便质检人员逐一进行质量复检；

复检部件展示区域，通过产品类型，三维空间可调整的展示该种产品的轮廓，并使用红色显示故障部件；同时，复检时，可通过反馈，将该空调产品的故障类型进行重新标定，否则维持原本的标签。在“扩展菜单”里的“复检接口”中按照产品类型信息分别进行记录，并按照不同产线分开记录。

模型管理界面通过主界面中的“模型展示接口”进入，主要包括模型index、模型训练空调类型种类个数、模型最近一次部署时间、模型部署状态、模型一定时间段内的准确性统计、记录、再训练开关。

可将新添加空调类型放在某一model里，其存储位置也按照对应规则存储到其相应位置上；通过模型部署时间及部署状态，及时对模型再次进行操作；

准确性等因素，主动发起模型再次训练；否则模型按照既定规则（例如：准确率降低到85 %或相对降低了5 %等）进行训练；点击model，则会出现模型训练过程的记录，例如准确性图形和loss图形等。再训练“retrain”分为绿色、黄色、蓝色，蓝色表示部署失败，绿色为正常工作状态，黄色表示模型准确性预警状态。

复检展示界面，按照产线记录各产线中不合格空调的信息，包括产品名称，空调类型以及故障类型。

业务扩展界面从主页面的“业务扩展接口”点击进入，主要功能包括新空调类型的添加、空调类型的删除、模型的删除等功能。

说明如下：

新空调类型的添加需要选择模型，系统根据模型将其训练的空调类型的音频存储到固定位置上去。添加新空调类型时，可使用文件夹添加的方式进行添加。新空调类型的添加，通过点击“文件名”按钮，进而根据目前所保存路径去添加所要添加的新空调类型的音频数据；

在样本收集阶段，将样本按照空调类型、故障类型分开进行存储，标签标定时对应的故障类型；“操作”模块，可对目前添加的内容进行删除操作或者添加上传操作；“立即训练”模块，可添加一部分样本立即对模型进行训练操作。

样本/模型删除；对某一模型删除操作，则对应的样本类型都删除掉；对某一空调类型删除操作，则对应的空调类型样本删除。

针对测试的结果，本文也设计了自动进行产线的质量数据分析，相关的分析功能和结果展示界面，分上下两部分，其中上半部分为所选择的当前产品质量的对比分析，可以选择要查看的产线、产品、批次以及要进行对比的维度，并输出文字分析内容；下半部分为所有产线、所有产品的结果呈现。可通过分析结果导出接口，可导出整个车间的产品质量分析报告。

2）自主学习功能

由于实际生产线上会产生大量新的产品音频，旧的模型无法精准的包含这些内容，当然也会出现新的空调类型，所以需要模型具备自主学习的能力，不断的帮助系统进行“壮大”、“完善”，以维持较高的检测正确性和有效性。其主要实现的自主学习驱动因素包含：旧模型准确性下降到一定阈值水平以下，新空调类型的产生；

自主学习系统将采取系统自动修复和人为交互操作两种方式；系统自动修复，模型的准确性降低，系统自动驱动模型再训练；人为交互操作，新空调类型在“业务交互界面”添加后，会驱动模型再次训练。

3 主要研究内容

本文研究的主要目标是学会识别所有可能的缺陷或异常，确定每一种已知缺陷的声纹特点（不同频率下的振幅与相）；确定一个或多个安装用于实时跟踪监测的录音探头的有效位置，达到高效地探测出每一种可能的缺陷的目标；（声纹与型号关联分析）针对所有不同型号的空调识别同类缺陷的声纹差异；确定是否能采用相同的安装位置达到高效地探测出每一种可能的缺陷的目标。

3.1 研究阶段规划

本文的研究主要分三个阶段进行；第一阶段是特征与算法的探索，采集和整理数据并进行降噪、时域与频域分析和多种特征提取（FFT、GMM、MFCC、Spectrogram、 CRP、TDHA等等）和分类尝试（SVM、KNN、PNN、CNN等等）。

第二阶段是组合的探索，比较各种特征以及算法之间的组合（Classifier Fusion），找出行之有效的特征与模型的组合，形成完整的工具体系。

第三阶段是生产部署考虑，扩大缺陷类别和产品型号的覆盖，以及对生产系统的设计和部署分析。

3.2 数据采集与处理

本文前期采集了实验室环境下空调内机273 分钟各类异常的录音，比如“轴承安装不到位”；从四个不同位置录了40 min的音频；采集了在生产现场测试厂房内的空调外机330 min各类异常的录音，比如“管道碰撞”从四个不同位置录了60 min的音频。详细如图5所示。

图5 采集数据频域展示图

本文将采用直接数据驱动而不是物理模型的方法，利用机器学习直接从采集的数据中学会缺陷分类。尝试采用多种不同的算法和模型（包括不同的组合），目的是寻找和建立起确实可行的高效的缺陷识别工具。运用了多种手段和算法可以将声频数据转换为特征矩阵或张量。同样实用多种算法（包括深度学习）对特征进行学习、识别和分类。

3.3 音频特征选取与训练

音频常见特征如图6中所示，其中第一列的STFT功率能量和恒Q功能能量分别为两种不同变换得到的能量表现形式；由于梅尔谱与MFCC的计算大致相同，但MFCC进一步进行了离散余弦变换（DCT），其特征更加明显，并且梅尔谱维度过度影响运算速度，因此梅尔谱不再作为选取特征。

图6 音频常见特性表

本文模型验证共选取了两种不同的特征组合进行验证，二分类模型和五分类模型；左侧上下两张图及右侧上下两张图分别代表电磁环顶中隔离板场景和正常场景下，并且采用了两套精度不同的采集设备进行验证，设备1和设备2在位置3和位置1上采集音频的梅尔图如图7所示；明显看出设备1能够在较低频带采集到信息；

图7 典型故障梅尔图

同时采用设备1和设备2在电磁环顶中隔离板场景下进行了RMS、质心频率的数据分析如图8所示。

图8 典型故障的RMS质心频率分析图

本文验证共选了四类常见的噪声故障作为典型数据进行模型的训练，分别是管碰壁、电磁阀电磁噪声、风叶毛刺、轴承噪音这四类，针对这四类故障数据进行数据的特征文件信息存储如图9所示，并进行二分类模型训练，训练结果如图10所示，准确率均高于97 %；误判率低于1.8 %。

图9 典型故障的二分类特征数据文件信息图

图10 典型故障的二分类模型结果

图11 典型故障的五分类特征数据文件信息图

如图11表示五分类模型训练集采用第一天采集的音频数据，评估集使用第二天采集音频； 训练结果显示，上述第一种方案准确性均高于77 %，第二种方案准确性均高于89 %；说明在第一天数据基础上添加新数据准确性高出12 %左右；从将第一天采集到的音频作为训练集，得到模型，使用第二天采集音频作为评估集，得到准确率如图12所示均高于77 %，说明模型均有延展性，使用第二天的数据可以辨识第一天的数据。

图12 典型故障的五分类模型训练结果图

4 结束语

本文主要针对空调过程质量控制的在线噪音检测，选取了生产过程中常见的装配异常所导致产品故障噪音种类4类进行了研究，通过模型的训练和改进，二分类模型其某位置下的某一工况的辨识度准确率均很高，均高于94 %；在相同设备，固定位置下，五分类模型的准确率均高于96 %；另外，对于生产现场一些气动设备的噪声带宽比较宽，对于判断结果会产生较大的干扰，这一问题需要我们继续进行深入的研究。