基于机器学习的文本半自动类别标注方法

宫衍圣, 蔡科平, 王志强, 李鑫鑫, 靖稳峰

(1. 中铁第一勘察设计院集团有限公司，西安 710043; 2. 西安工业大学，西安 710021;3. 国网浙江省电力公司信息与通信分公司，杭州 310007;4. 西安交通大学数学与统计学院，西安 710049)

0 引言

数据标注是监督学习的一个重要环节。它是指对采集到的图像、语音、文本等数据对象进行不同类别的标识，为数据分析或人工智能算法提供训练数据。常见的数据标注任务包括类别标注、区域标注、描点标注等。类别标注是指从给定的标签集中选择合适的标签分配给数据对象，通俗地说就是对所给定的图像、语音或文本数据指定一个类别标签，达到与其他数据区分的目的。

人工标注是进行数据标注的基本方法，标注人员需要熟悉领域专业知识才能实现正确标注。此种标注方法需要耗费大量的人力、财力，其效率低下。随着机器学习技术的发展，使用机器学习辅助的半自动化数据标注方法不断发展，成为大数据背景下更加常用的数据标注方法[1]。

本文提出了一种对数据科学与人工智能领域的文章进行半自动化标注的方法。首先应用爬虫程序获取了42034 篇数据科学与人工智能类的科技论文摘要数据，然后通过“构建领域语料库–单词向量化–文本向量化–文本聚类–提取当前类中关键主题特征词–对主题词进行人工归纳得到当前类标签–训练文本分类模型–应用训练好的模型进行文章标注”。该方法大大提高了文章类别标注效率，可作为论文推荐系统的基本技术。……