基于矩阵分解和注意力多任务学习的客服投诉工单分类

宋勇，严志伟，秦玉坤，赵东明，叶晓舟，柴园园，欧阳晔

研究与开发

基于矩阵分解和注意力多任务学习的客服投诉工单分类

宋勇1，严志伟2，秦玉坤2，赵东明3，叶晓舟1，柴园园1，欧阳晔1

（1. 亚信科技（中国）有限公司，北京 100193；2. 亚信科技（南京）有限公司，江苏 南京 210013；3. 中国移动通信集团天津有限公司，天津 300020）

投诉工单自动分类是通信运营商客服数字化、智能化发展的要求。客服投诉工单的类别有多层，每一层有多个标签，层级之间有所关联，属于典型的层次多标签文本分类问题，现有解决方法大多数基于分类器同时处理所有的分类标签，或者对每一层级分别使用多个分类器进行处理，忽略了层次结构之间的依赖。提出了一种基于矩阵分解和注意力的多任务学习的方法（MF-AMLA），处理层次多标签文本分类任务。在通信运营商客服场景真实投诉工单分类数据下，与该场景常用的机器学习算法和深度学习算法的Top1 F1值相比分别最大提高了21.1%和5.7%。已在某移动运营商客服系统上线，模型输出的正确率97%以上，对客服坐席单位时间的处理效率提升22.1%。

层次多标签分类；注意力机制；多任务学习；客服工单分类

0 引言

近年来，通信运营商的客户数量稳步上升，业务范围增大，面临的投诉问题日趋繁多和复杂[1]。快速准确地处理投诉工单是提升客户满意度和运营商效益的重要方面。针对每个投诉工单，首先需要判断其所属的业务类别。传统的依赖客服坐席标记投诉工单所属类别需要耗费大量的人力成本和时间成本，而且不能保证很高的准确率。因此，对投诉工单文本进行自动化分类是运营商朝着数字化、智能化方向发展的要求[2]。

通信运营商客服场景的投诉工单文本相较于一般的文本，通常对应很多层级的业务类别，并且各类别之间存在一定的关联关系[3]，每个层级的业务类别串联形成最终的总类别，属于典型的层次多标签文本分类（hierarchical multi-label text classification，HMTC）问题。传统的文本分类方法很少考虑类别层级的关联关系，文本特征表示相对较弱，分类效果仍有提升空间。因此，为了实现对运营商投诉工单文本的自动分类以及保证高的准确率，需要采取更有针对性的有效分类方法。本文创新性地提出一种基于矩阵分解（matrix factorization，MF）和注意力的多任务学习（attention-based multi-task learning approach，AMLA）的方法，被称为MF-AMLA，处理HMTC任务，帮助运营商客服快速准确地对多层级的投诉工单文本进行分类。

1 相关工作

1.1 多标签文本分类

文本分类是自然语言处理（NLP）中的一个经典任务，旨在为给定的文本序列分配预定义的类别[4-5]。早期的文本分类算法主要基于浅层学习，如朴素贝叶斯（naive bayes）、支持向量机（support vector machine，SVM）、最邻近分类（-nearest neighbor，NN）和随机森林等，这些方法存在高维度、高稀疏问题，分类效果差。近年来，深度学习的快速发展使得神经网络在文本分类领域大放异彩。例如，文本卷积神经网络（text convolutional neural network，TextCNN）[6]能够捕捉局部相关性，在短文本分类上取得较好效果。循环神经网络（recurrent neural network，RNN）[7-8]考虑了上下文信息的语义关联。长短期记忆（long short-term memory，LSTM）网络[9]可以学习长距离依赖信息，解决了传统RNN梯度消失的问题。门控循环单元（gated recurrent unit，GRU）[10]作为LSTM的一种变体，结构更加简单。Transformer的自注意力机制在处理长期依赖的问题时相较于LSTM有更好的表现[11]。基于此，GPT（generative pre-training）预训练词向量模型[12]、BERT（bidirectional encoder representations from transformers）预训练语言模型[13]，依次刷新各NLP任务效果。

多标签文本分类是文本分类的重要分支，相比于单标签分类任务，多标签通常有复杂的依赖性，每个文本不只属于一个类别，而是被赋予多个标签。Tsoumakas等[14]将多标签分类的方法分为两类，一类是问题转换的方法，另一类是算法适应的方法。前者将多标签分类问题转化为一个或多个单标签分类问题，代表算法有Binary Relevance[15]、Random-labelsets[16]、Calibrated Label Ranking[17]、Label Power-set[18]。这类方法面对类别多、数据量大的数据集时存在计算复杂度高的缺陷。后者通过拓展单标签学习算法，直接处理多标签的数据，代表算法有Rank-SVM[19]、ML-NN[20]。

而在许多实际问题中，文本建模的预测输出是结构化的类别，即类别之间存在依赖关系，例如表现为树状分层结构或有向无环图[21]。这种多标签分类属于HMTC[22]。HMTC分类任务，主要方法可以分为两类：一类为局部方法，根据类别标签的层次结构，对预测输出空间的每个分类建立模型，将HMTC分类转化为对多个单一标签的分类，最后组合各个模型获得最终的标签[23]。例如，Cesa-Bianchi等[24]提出了Hierarchical SVM，仅在父类标签被激活时进行SVM学习；另一类为全局方法，预测输出空间建立单一模型预测所有类别，相比于局部方法，可挖掘、使用各标签之间的依赖关系，学习到隐含特征获得更好的分类效果[25]。例如，Vens等[23]提出Clus HMC，使用单个决策树处理整个层次类别结构。Borges等[26]提出了一种基于竞争人工神经网络的全局方法预测层次结构中的所有类别。然而，上述这些研究只关注到了层次结构的局部区域或整体结构，而忽略了层次结构不同层级之间的依赖关系。

1.2 多任务学习

多任务学习（multi-task learning，MTL）是对多个任务共享模型，同时学习，提升模型性能的算法[27]。MTL有许多优点，例如可以提高数据计算效率，通过共享表示可以减少过度拟合，利用辅助信息可以快速学习等[28]。MTL同时考虑多个相关任务的学习过程，能够利用任务之间的关联提高单一任务学习的泛化能力。例如，Liu等[29]利用16个不同的文本分类任务进行MTL，相较于单任务显著提升了分类效果。MTL现有方法主要有两类：硬参数共享[28,30]和软参数共享[31-32]。前者在不同任务的隐藏层共享模型权重，使每个权重都经过训练，共同最小化多个损失函数。后者针对不同的任务有特定的任务模型，在参数空间讨论需要交互哪些信息，设定不同的权重，通过将不同模型参数之间的距离加入联合目标函数进行优化。

综合以上相关研究，基于HMTC的特点，本文创新性地提出了MF-AMLA。矩阵分解（matrix factorization，MF）是一种协同过滤推荐算法[33]，通过将用户评分矩阵分解以学习用户和物品之间的交互关系。这里，本文引入MF模块，增强文本和分层多标签的语义表示，以捕捉文本与层次标签的浅层隐藏关系。然后对不同分层的多标签进行基于注意力的MTL，既考虑局部层级特征以及全局信息，又考虑不同层级之间的关联关系，挖掘、使用各层级标签之间的依赖关系，学习更深层的隐含特征。MF和MTL联合损失函数，在各子任务间互相修正错误，提升模型对层次多标签文本的分类效果。

2 模型结构

MF-AMLA模型结构如图1所示，主要涉及3部分内容：文本表征层、嵌入层、AMLA 层。

图1 MF-AMLA模型结构

2.1 文本表征层

对于HMTC任务，涉及Text和层次多标签（hierarchical multi-label，HML），Text表示为：

HML表示为：

2.2 嵌入层

在基于注意力机制的多任务学习的第一阶段，为了使文本和分层多标签类别的向量表示统一，本文首先在嵌入（embedding）层编码文本和分层多标签类别结构，然后使用MF层增强文本语义表示的编码。

本文把文本和分层多标签类别组合成矩阵：

使用梯度下降算法降低损失：

2.3 AMLA层

AMLA层包含两个模块：Transformer和MTL。

（1）Transformer

每个编码器包含两个模块，分别为自注意力（self-attention）模块和前馈网络模块。在自注意力模块，输入的嵌入被线性变换成3个矩阵：查询、键、值。缩放点积注意力为：

多头注意力机制将、、拆分成个头，并行执行注意力操作，再将多头的输出值串联，投影后形成输出。经多头注意力机制后再接前馈网络层，得到句子的特征向量。

（2）MTL

2.4 损失函数

其中：

3 实验结果及分析

3.1 数据集介绍

本文使用的数据集来自运营商客服接听电话投诉后人工标注好的文本。投诉工单文本实例见表1。数据筛选前的原始标签的长尾分布见表2。考虑实际生产实践中着重关注占比高的处理方式，本文按照2/8原则，筛选前80%的头部标签数据进行后续的下游分类任务，对于剩余20%的长尾标签数据则不采用。筛选后，共有283 904条投诉工单文本，原始的标签数量为186个。进行预处理后，得到7个层级子标签（见表1的样本实例），一级到七级的标签数量分布为4、5、45、49、6、83、64（文本标签分布见表3），例如一级标签对应的类别有：家庭业务、移动业务、集团业务、增值业务4个类别。之后对数据集划分，按照原始标签8:2的比例将其划分为训练集和验证集。

表1 投诉工单文本实例

表2 数据筛选前的文本原始标签的长尾分布

表3 文本标签分布

3.2 评估方法

3.3 实验与分析

为了评估对运营商行业层次多标签文本的分类效果，本文基于第3.1节获取的数据集对比了本模型MF-AMLA与5种其他广泛应用的评价不错的模型：Hierarchical SVM、Clus HMC、GRU、TextCNN、Bert。前两种是基于机器学习的层次标签分类模型，后3种是基于深度学习的多标签分类方法。

为了多方面评估模型效果，本文引入Top准确率评估方法，即置信度最高的个结果中包含正确标签的占比。本文采用Top1、Top5、Top10 3个指标。经过对比实验，各模型的精确率、召回率的对比见表4，各模型F1值对比如图2所示。整体来看，本文的MF-AMLA效果最优。其中，Hierarchical SVM与Clus HMC出现较早，未采用深度学习的方法，效果较差，与之相比，MF-AMLA在Top1、Top5、Top10的F1值分别最大提高了21.1%、26.7%、22.1%；GRU、TextCNN和BERT模型作为文本分类常见深度学习方法，与之相比，MF-AMLA在Top1、Top5、Top10的F1值分别最大提高了5.7%、4.8%、4.8%。

表4 各模型的精确率P、召回率R的对比

以上实验结果表明，本文模型通过MF模块将文本和分层多标签类别的向量表示统一，提升了模型的表征能力，再引入AMLA递归注意力多任务学习对层级标签分类后，提升了模型学习层级标签之间关联关系的能力。本文提出的MF-AMLA可以有效提升运营商行业中投诉工单文本的分类效果。

图2 各模型F1值对比

4 结束语

运营商的投诉工单文本属于层次多标签的文本，目前一般的分类方法难以获得好的分类效果。本文提出一种基于矩阵分解和注意力多任务学习的层次多标签分类方法（MF-AMLA），针对运营商领域的投诉工单文本含有层次多标签的特点，加入了MF模块增强文本和分层多标签的语义表示，其次，按层级关联关系进行了递归注意力多任务学习，解决HMTC问题，提高了投诉工单分类的准确率。该模型已在某移动运营商客服系统上线，对客服坐席接入的实时投诉数据，MF-AMLA输出Top 5分类结果，辅助客服坐席快速定位用户投诉或咨询的问题，及时协助用户解决问题。客服坐席反馈模型输出的正确率在97%以上，对客服坐席单位时间的处理效率提升22.1%（平均一通投诉或通话时长由58 s降低为49 s）。

未来本文将考虑更多文本分类任务的实践，如电商售后服务咨询内容的自动分类，根据用户反馈的内容，给出用户的真实意图并归类，快速解决用户的诉求；用于智能对话机器人中，通过对问答内容的精准分类，快速定位用户意图，给出正确的交流策略；以及新闻自动归类，对新闻网站的内容，进行自动归类和分析，支持舆情分析，为公共安全和社会治理做出贡献等，验证其他类似的任务是否会有进一步的效果提升。

[1] TUNG F C. Customer satisfaction, perceived value and customer loyalty: the mobile services industry in China[J]. African Journal of Business Management, 2013, 7(18): 1730-1737.

[2] LIN L, ZHU B, WANG Q, et al. A novel 5G core network capability exposure method for telecom operator[C]//Proceedings of 2020 IEEE Intl Conf on Parallel & Distributed Processing with Applications, Big Data & Cloud Computing, Sustainable Computing & Communications, Social Computing & Networking. Piscataway: IEEE Press, 2020: 1450-1454.

[3] WEHRMANN J, CERRI R, BARROS R. Hierarchical multi-label classification networks[C]//Proceedings of International Conference on Machine Learning. [S.l.:s.n.], 2018: 5075-5084.

[4] KOWSARI, MEIMANDI J, HEIDARYSAFA, et al. Text classification algorithms: a survey[J]. Information, 2019, 10(4): 150.

[5] MINAEE S, KALCHBRENNER N, CAMBRIA E, et al. Deep learning: based text classification[J]. ACM Computing Surveys, 2021, 54(3): 1-40.

[6] ZHANG Y, WALLACE B. A sensitivity analysis of (and practitioners' guide to) convolutional neural networks for sentence classification[J]. arXiv preprint arXiv:1510.03820, 2015.

[7] MIKOLOV T, KOMBRINK S, BURGET L, et al. Extensions of recurrent neural network language model[C]//Proceedings of 2011 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway: IEEE Press, 2011: 5528-5531.

[8] SOCHER R, LIN C C-Y, NG A Y, et al. Parsing natural scenes and natural language with recursive neural networks[C]//Proceedings of the 28th International Conference on Machine Learning.[S.l.:s.n.], 2011.

[9] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

[10] DEY R, SALEM F M. Gate-variants of Gated Recurrent Unit (GRU) neural networks[C]//Proceedings of 2017 IEEE 60th International Midwest Symposium on Circuits and Systems. Piscataway: IEEE Press, 2017: 1597-1600.

[11] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]//Advances in neural information processing systems. [S.l.:s.n.], 2017: 5998-6008.

[12] RADFORD A, NARASIMHAN K, SALIMANS T, et al. Improving language understanding with unsupervised learning[EB]. 2018.

[13] DEVLIN J, CHANG M-W, LEE K, et al. Bert: Pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv:1810.04805, 2018.

[14] TSOUMAKAS G, KATAKIS I, VLAHAVAS I. Mining multi-label data[M]//Data Mining and Knowledge Discovery Handbook. Boston, MA: Springer US, 2009: 667-685.

[15] BOUTELL M R, LUO J B, SHEN X P, et al. Learning multi-label scene classification[J]. Pattern Recognition, 2004, 37(9): 1757-1771.

[16] TSOUMAKAS G, VLAHAVAS I. Random k-labelsets: an ensemble method for multilabel classification[C]//Machine Learning: ECML.[S.l.:s.n.], 2007.

[17] FÜRNKRANZ J, HÜLLERMEIER E, LOZA MENCÍA E, et al. Multilabel classification via calibrated label ranking[J]. Machine Learning, 2008, 73(2): 133-153.

[18] MADJAROV G, KOCEV D, GJORGJEVIKJ D, et al. An extensive experimental comparison of methods for multi-label learning[J]. Pattern Recognition, 2012, 45(9): 3084-3104.

[19] ELISSEEFF A, WESTON J. A kernel method for multi-labelled classification[J]. Advances in neural information processing systems, s.l.: The MIT Press, 2001(14): 681-687.

[20] ZHANG M L, ZHOU Z H. ML-KNN: a lazy learning approach to multi-label learning[J]. Pattern Recognition, 2007, 40(7): 2038-2048.

[21] BI W, KWOK J T. Multilabel classification on tree-and dag-structured hierarchies[C]//Proceedings of the 28th International Conference on Machine Learning, [S.l,:s.n.], 2011.

[22] GONG J B, TENG Z Y, TENG Q, et al. Hierarchical graph transformer-based deep learning model for large-scale multi-label text classification[J]. IEEE Access, 2020(8): 30885-30896.

[23] VENS C, STRUYF J, SCHIETGAT L, et al. Decision trees for hierarchical multi-label classification[J]. Machine Learning, 2008, 73(2): 185-214.

[24] CESA-BIANCHI N, GENTILE C, ZANIBONI L. Incremental algorithms for hierarchical classification[J]. The Journal of Machine Learning Research, 2006(7): 31-54.

[25] LEVATIĆ J, KOCEV D, DŽEROSKI S. The importance of the label hierarchy in hierarchical multi-label classification[J]. Journal of Intelligent Information Systems, 2015, 45(2): 247-271.

[26] BORGES H B, NIEVOLA J C. Multi-Label Hierarchical Classification using a Competitive Neural Network for protein function prediction[C]//Proceedings of 2012 International Joint Conference on Neural Networks (IJCNN). Piscataway: IEEE Press, 2012: 1-8.

[27] CARUANA R. Multitask learning[J]. Machine learning, 1997, 28(1): 41-75.

[28] COLLOBERT R, WESTON J. A unified architecture for natural language processing: deep neural networks with multitask learning[C]//Proceedings of the 25th international conference on Machine learning-ICML '08. New York: ACM Press, 2008: 160-167.

[29] LIU X D, HE P C, CHEN W Z, et al. Multi-task deep neural networks for natural language understanding[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg, PA, USA: Association for Computational Linguistics, 2019.

[30] EATON E, DESJARDINS M, LANE T. Modeling transfer relationships between learning tasks for improved inductive transfer[C]//Machine Learning and Knowledge Discovery in Databases. [S.l.:s.n.], 2008.

[31] DUONG L, COHN T, BIRD S, et al. Low resource dependency parsing: cross-lingual parameter sharing in a neural network parser[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers). Stroudsburg, PA, USA: Association for Computational Linguistics, 2015.

[32] YANG Y, HOSPEDALES T M. Trace norm regularised deep multi-task learning[J]. arXiv preprint arXiv:1606.04038, 2016.

[33] BENNETT J, LANNING S. The netflix prize[C]//Proceedings of KDD Cup and Workshop. New York: ACM Press, 2007: 35.

Customer service complaint work order classification based on matrix factorization and attention multi-task learning

SONG Yong1, YAN Zhiwei2, QIN Yukun2, ZHAO Dongming3, YE Xiaozhou1, CHAI Yuanyuan1, OUYANG Ye1

1. AsiaInfo Technologies (China) Co., Ltd., Beijing 100193, China 2. AsiaInfo Technologies (Nanjing) Co., Ltd., Nanjing 210013, China 3. China Mobile Communications Group Tianjin Co., Ltd., Tianjin 300020, China

The automatic classification of complaint work orders is the requirement of the digital and intelligent development of customer service of communication operators. The categories of customer service complaint work orders have multiple levels, each level has multiple labels, and the levels are related, which belongs to a typical hierarchical multi-label text classification (HMTC) problem. Most of the existing solutions are based on classifiers to process all classification labels at the same time, or use multiple classifiers for each level, ignoring the dependence between hierarchies. A matrix factorization and attention-based multi-task learning approach (MF-AMLA) to deal with hierarchical multi-label text classification tasks was proposed. Under the classification data of real complaint work orders in the customer service scenario of communication operators, the maximum Top1 F1 value of MF-AMLA is increased by 21.1% and 5.7% respectively compared with the commonly used machine learning algorithm and deep learning algorithm in this scenario. It has been launched in the customer service system of one mobile operator, the accuracy of model output is more than 97%, and the processing efficiency of customer service agent unit time has been improved by 22.1%.

hierarchical multi-label classification, attention mechanism, multi-task learning, customer service work order classification

TP183

A

10.11959/j.issn.1000−0801.2022031

2021−09−17；

2021−12−27

秦玉坤，qinyk@asiainfo.com

宋勇（1989− ），男，亚信科技（中国）有限公司通信人工智能实验室通信业务与应用算法研究部负责人，主要研究方向为NLP、知识图谱、AIOps、推荐等。

严志伟（1994− ），男，博士，亚信科技（南京）有限公司通信人工智能实验室算法工程师，主要研究方向为NLP、AIOps。

秦玉坤（1987− ），男，亚信科技（南京）有限公司通信人工智能实验室算法工程师，主要研究方向为NLP、AIOps、知识图谱。

赵东明（1984− ），男，博士，中国移动通信集团天津有限公司技术专家，天津移动AI实验室/天津移动博士后科研工作站负责人，主要研究方向为知识图谱、智能语音情感、认知概念网络。

叶晓舟（1980− ），男，博士，亚信科技（中国）有限公司通信人工智能实验室资深总监、首席科学家，主要研究方向为通信网络与人工智能。

柴园园（1980− ），女，博士，亚信科技（中国）有限公司通信人工智能实验室首席算法科学家，主要研究方向为深度学习、人工智能、数据科学及管理。

欧阳晔（1981− ），男，博士，亚信科技（中国）有限公司首席技术官、高级副总裁，主要研究方向为移动通信、人工智能、数据科学、科技研发创新与管理。