中文文本层次多标签分类算法研究

罗玉杰，晏忠泰，杨科，彭德中

（1.四川大学计算机学院，成都610065；2.中国烟草总公司四川省公司专卖监督管理处，成都610094；3.中国烟草总公司四川省公司法规处，成都610094）

0 引言

文本分类是自然语言处理任务中常见且重要的任务。在应用中，文本的标签可以被组织成层次结构，即一个标签可以被细分成多个子类，其子类还可以继续细分。这样的标签结构通常被组织成树状或者有向无环图（Direct Acyclic Graph，DAG）的形式。具有层次多标签文本分类（Hierarchical Multi-label Text Classification，HMTC）任务具有广泛的应用，如自动问答、新闻标注等。

与单标签文本分类，层次多标签文本分类的主要挑战在于文本特征表达与标签结构关系的探索[1]。近年来，深度学习方法在提取文本特征表达时表现出了优秀的效果。循环神经网络（RNN）与卷积神经网络（CNN）是主流的文本编码架构，如XML-CNN[2]、HAN[3]等，不同的文本编码器在文本的特征表达上的效果并不相同。Bert[4]通过基于注意力机制的编码器进行预训练并在多项任务上取得多项优秀的结果，使得在预训练模型上进行微调成为流行趋势。

在多标签分类中，依然存在一些没有解决的问题，首先，从文本数据上来看，文本的不同部分与不同的标签的相关程度并不一致，在长文本中，不同标签类别的内容的篇幅也是不一致的；其次，不同层之间的标签的依存关系的建模方式也是一个值得关注的问题，Jonatas等人[5]通过多层输出的方式，这种结构在每个层次级别上都有一个输出层，并为整个网络提供一个全局输出层，并通过优化全局和每个层次的损失函数的加和来跟踪整个层次结构中标签依赖性，Yang等人[6]通过将文本分类转化成机器翻译的形式来建模标签之间的关联。……