基于BERT与XGBoost的航天科技开源情报分类

刘秀磊，孔凡芃，谌彤童，刘旭红

(1.北京信息科技大学 网络文化与数字传播北京市重点实验室 北京 100192；2.北京信息科技大学 数据与科学情报分析实验室 北京 100192；3.北京跟踪与通信技术研究所 北京 100192)

0 引言

航天科技开源情报[1]的分类问题是航天情报工作开展的第一步。如何利用机器学习的新技术来提升航天科技开源情报的分类效果，是当前航天情报学领域迫切需要解决的问题。

早期航天科技开源情报的分类研究主要集中于传统的机器学习方法，如文献[2]结合贝叶斯算法与web技术研发了一套服务器-客户端模式的航天文本分类系统。文献[3]研究了基于SVM的航天情报分类方法，并提出多分类流程以应对不同类别数据的分类操作。然而这些方法大都需要人工特征工程，且文本表示无法准确反映文本间的关系，不能保障较高的分类准确性。深度学习的广泛发展与应用，使得文本分类的效果得到显著提升。文献[4]提出基于Attention机制的TextRCNN-A文本分类算法，能够捕捉上下文内容信息，也可以更好地消除单词歧义。可见，在航天科技开源情报分类的研究中，能否准确捕捉到上下文语义信息对于提高相关文本分类的准确率具有一定影响。

传统的文本向量表示方法主要是词袋模型，如One-Hot直接映射表示方式[5]、基于词频的TF-IDF模型[6]等，但这些模型并未考虑词与词之间的关联性，且向量长度较大，易造成矩阵稀疏问题。后来出现了基于神经网络的文本向量化模型，如文献[7]提出的word2Vec模型，可用来表示词与词之间的关系。……