基于BERT与柱搜索的中文释义生成

范齐楠,孔存良,杨麟儿,,杨尔弘

(1. 北京语言大学 信息科学学院，北京 100083；2. 北京语言大学 语言资源高精尖创新中心，北京 100083)

0 引言

释义生成(Definition Modeling)任务又称释义建模,是由Noraset等人首次提出，任务目的是为一个给定的目标词生成相应的释义[1]。释义生成任务不论在自然语言处理(Natural Language Processing，NLP)领域还是实际应用场景中，都具有非常重要的研究意义和价值。在NLP领域: ①预训练的静态词向量经常会被用来初始化词嵌入，其质量好坏会对所做任务产生很大影响。目前常用的预训练词向量的质量评价方法有相似性、类比推理等，相比于这些评价方法，为预训练的词向量生成一句文本释义，能够更直观地反映词向量的质量。②低维密集词向量的可解释性问题一直是深度学习领域关注的焦点。以人类可读的形式为低维词向量生成文本释义，可以对词向量捕获到的语义信息予以解释。③词典释义经常被作为外部语义知识融入其他NLP任务中，本任务可以极大地丰富词典释义资源。在实际应用中，释义生成任务也可以为词典编撰者及语言学习者提供很大帮助: ①不论是编撰新词典还是修订已有词典，都需要耗费大量的人力和物力，而释义生成系统可以作为词典编著者强有力的辅助工具，节省编撰成本。②对于语言学习者，当他们需要查询陌生词汇时，受限于词典的收录能力，查询不到词语的情况时有发生。当遇到多义词时，他们也只能根据上下文去推断应取哪个义项，往往不能保证准确性。……