基于深度学习和主题模型的短文本分类方法

王青松，聂振业，周芳晔

(辽宁大学 信息学院，辽宁 沈阳 110036)

0 引言

近年来，随着社交网络的飞速发展，例如微博和电影评论等类型的短文本数量在不断攀升.与传统的长文本相比，基于社交网络的短文本长度较短更易处理.因短文本实时性强、格式不标准等特点使其成为研究热点.但短文本在自然语言处理领域中仍然是一个难点问题.传统的机器学习分类算法如朴素贝叶斯、支持向量机在解决短文本分类问题仍然存在不足.

随着技术的发展，深度学习也应用到自然语言处理中，特别是应用到文本分类.文献[4]通过使用Word2vec将文本转化为词向量放入LSTM(长短期记忆人工神经网络)训练获取句子的语义信息和句法结构进行分类，但是没有考虑到特征词的重要性.文献[5]通过引用Attention机制将深度学习推到高潮，选用Self Attention捕获同一个句子中单词之间的一些句法特征或者语义特征，从而更容易获取句子中长距离的相互依赖.以上方法并没有考虑到短文本特征的稀疏性.

现在语义增强应用是通过知识库对句子进行扩增.文献[6]通过KBs(知识库)中存在的isA、isPropertyOf等重要语义关系，这些信息对理解短文本有很多帮助.文献[7]将深度神经网络和知识库的先验知识整合到一起，充分对短文本进行理解，提高了短文本分类的准确性.知识库带来了新的先验知识，也带来了很多无关的知识向量，为短文本分类增加了负担.

本文针对上述短文本分类的算法不足，综合……