一种融合语义知识和BiLSTM-CNN的短文本分类方法

杨秀璋 李晓峰 袁杰 李坤琪 杨鑫 罗子江

DOI：10.16644/j.cnki.cn33-1094/tp.2021.11.013

摘  要： 为快速准确地从海量新闻中挖掘用户需求，解决短文本语义关系单薄、篇幅较短、特征稀疏问题，提出一种融合语义知识和BiLSTM-CNN的短文本分类方法。该分类模型将新闻短文本预处理成Word2Vec词向量，通過卷积神经网络提取代表性的局部特征，利用双向长短时记忆网络捕获上下文语义特征，再由Softmax分类器实现短文本分类。文章对体育、财经、教育、文化和游戏五大主题的新闻语料进行了实验性的分析。结果表明，融合语义知识和BiLSTM-CNN的短文本分类方法在准确率、召回率和F1值上均有所提升，该方法可以为短文本分类和推荐系统提供有效支撑。

关键词： 短文本分类; BiLSTM-CNN; 深度学习; 语义知识

中图分类号：TP391          文献标识码：A     文章编号：1006-8228（2021）11-49-06

A short text classification method fusing semantic knowledge and BiLSTM-CNN

Yang Xiuzhang， Li Xiaofeng， Yuan Jie， Li Kunqi， Yang Xin， Luo Zijiang

（School of Information of Guizhou University of Finance and Economics， Guiyang， Guizhou 550025， China）

Abstract： In order to quickly and accurately tap users needs from mass news， to solve the problems of thin semantic relations， short length， and sparse features in short texts， this paper proposes a short text classification method combining semantic knowledge and BiLSTM-CNN. In this classification model， news short texts are preprocessed into Word2Vec word vectors， representative local features are extracted by convolutional neural network， contextual semantic features are captured by bidirectional short and long time memory network， and then the short texts are classified by Softmax classifier. This paper experimentally analyzes the news corpus of five topics， namely sports， finance， education， culture and games. The results show that the short text classification method combining semantic knowledge and BiLSTM-CNN has improved in accuracy， recall rate and F1 value. This method can provide effective support for short text classification and recommendation system.

Key words： short text classification; BiLSTM-CNN; deep learning; semantic knowledge

0 引言

随着互联网与社交网络的迅速发展，以搜索引擎、微博、论坛、博客、评论等为主体的海量短文本信息与日俱增，如何快速精准地将其进行归类，挖掘出所需的关键知识及研究热点，已成为重要的研究课题。

文本分类作为自然语言处理领域的一个热点和难点，旨在精准地划分文本的主题类别，再通过推荐系统或知识图谱实现关联个性化推荐，帮助用户从杂乱信息中快速、高效地提取所需知识。面对大规模短文本语料，传统分类方法是采用向量空间模型表征短文本，再进行相似性计算，或通过机器学习实现文本分类，缺乏对短文本上下文语义的关联分析，难以避免引入干扰信息和克服短文本的特征稀疏问题，较难挖掘到深层次的文本特征，从而限制了短文本分类的精准度[1]。……