商品名称短文本快速有效分类的多基模型框架

沈雅婷 左志新

(南京理工大学紫金学院 江苏 南京 210023)

0 引 言

分类一直是自然语言处理(NLP)领域的重点问题，被广泛地应用到生活之中。随着中国互联网信息技术行业的快速发展以及大数据时代的到来，电子文本数据呈现井喷式增长，例如微博、商品评论、商品名称等短文本数据占比最大。合理地对其进行分类，便于用户快速查找所需信息或商品，也便于商家及时发现问题和掌握用户需求，提高用户满意度。针对产生的大量短文本数据，人工分类存在速度慢，成本高等问题，所以需要机器去代替人工完成分类。

文本分类问题是NLP领域中一个非常经典的问题，最早可以追溯到20世纪50年代，早期主要通过知识工程，手工定义规则来分类，不仅浪费时间和人力，而且使用范围和准确度都十分有限。随着20世纪90年代互联网在线文本的涌现和机器学习的兴起，研究者重新开始对文本分类的研究，逐渐将文本分类问题拆分成特征工程和分类器两个部分，即基于传统机器学习的文本分类。其中特征工程包括文本预处理、特征提取和文本表示等，分类器基本都是统计分类的方法，如K近邻、朴素贝叶斯[1]、决策树、支持向量机等。以上方法相比早期的方法有着更好的分类效果，但是文本表示的特征表达能力较弱，还需要人工进行特征工程且非常费时费力，成本很高。随着计算能力提升、成本下降、海量大数据支持和人工神经网络兴起，基于人工神经网络的深度学习方法逐渐成为主流的研究方向，深度学习方法利用人工神经网络的网络结构自动获取特征表达的能力解决文本分类的文本表示问题[2]，避免了繁杂的人工特征工程，即端到端地解决问题。……