基于深度学习的《辞海》分词方法

陈美，李顿伟，高洪美，吴小丽

（上海计算机软件技术开发中心，上海201112）

0 引言

《辞海》[1]是我国文化资产最重要代表之一，目前唯一的一部以字带词、兼有字典、语文词典和百科词典主要功能于一体的大型综合性辞典，被誉为“历史和时代的档案馆、大事记和里程碑”，对我经济、社会以及文化等发展具有重要支撑。《辞海》收集了自然科学与工程技术、哲学社科、历史地理、文学艺术等领域知识，集成了中华上下五千年文化的精粹，具有重要的研究价值。随着新一代信息技术的快速发展，利用大数据、人工智能、知识图谱等技术研究数字《辞海》，推动知识内容创新、知识服务创新等成为发展趋势。

分词是数字《辞海》的研究基础，本文将开展《辞海》的分词研究。目前中文分词技术[2]主要包括基于词典[3]、基于统计[4]、基于深度学习[5-6]三种分词类型。每种类型各有其优缺点，如规则分词简单、效率高，但是对歧义词和新词分词效果不佳；统计分词基于词频统计，对歧义词和新词分词表现较好，但是效率和复杂度居中；深度学习方法借助词向量技术将词转化成为向量，能够很好的提取词语特征，分词效果相对最佳，但是效率较低、复杂度高。随着硬件技术的突破，基于深度学习的分词目前成为主流，典型的深度学习分词模型包括基于RNN（循环神经网络）[7]、LSTM（长短记忆神经网络）[8，9]、BILSTM（双向长短记忆神经网络）[10-13]等。

由于《辞海》的内容比较复杂，即引用了大量的文言文、诗、歌等古文，如《汉书》、《史记》、《左转》等内容，又包含了自然科学与工程技术、哲学社科、历史地理、文学艺术等领域知识，对分词任务带来巨大的挑战。……