结合半监督学习和LDA模型的文本分类方法

韩 栋，王春华，肖 敏

(1.黄淮学院 信息工程学院，河南 驻马店 463000；2.武汉理工大学 计算机科学与技术学院，湖北 武汉 430063)

0 引 言

为了使文本分类效率进一步提高，必须提供足够多的已标记样本来训练分类器。然而，在很多实际情况中，已标记样本可能很少，但却有大量的未标记样本。为此，可以使用半监督学习(semi-supervised learning，SSL)方法[1]，通过学习将未标记样本进行归类，扩大初始标签集，用作传统机器学习算法的输入。

主题模型(topic modeling)[2]是一种对文字中隐含主题进行建模的方法，由于其考虑了上下文关系，能够显著减少特征的数量并能够压缩文本表示。有研究表明，在训练集数据量较少时，主题模型在监督学习环境中的性能优于传统表示方法[3,4]。其中，以隐含狄利克雷分配(latent Dirichlet allocation，LDA)[5]概率主题模型作为文本相似性度量时，比基于词频的TF-IDF表示方法具有更高的效率[6]。

基于上述分析，为了解决在较少初始标签集环境下的文本分类问题，提出一种结合SSL和LDA主题模型表示法的训练集构建方法(SSL-LDA)。使用LDA主题模型表示文本特征，使用一个基于SSL的自训练模型来学习分类未标记文本，扩展标记文本集，以此解决具有少量标记样本集的场景。另外，为了获得SSL-LDA模型的最优参数组合，首先，通过方差分析(analysis of variance，ANOVA)统计测试方法来确定各种参数的影响能力，找出影响最小的参数并确定其值，以此降低参数维度。然后，通过一种简化粒子群算法(simplified particle swarm optimization，SPSO)来获得其它参数的最优组合。最后，基于扩展的训练集来训练朴素贝叶斯(NB)分类器实现文本分类。……