基于知识拷贝机制的生成式对话模型

李少博，孙承杰，徐 振，刘秉权，季振洲，王明江

(哈尔滨工业大学 计算机科学与技术学院，黑龙江 哈尔滨 150001)

0 引言

作为自然语言处理领域内的主要研究问题，自动对话系统近年来受到了越来越多的关注。特别是“编码—解码”结构在机器翻译任务上取得重大进展之后[1]，基于“编码—解码”结构的生成式对话模型也成为了一个热点研究方向。一方面，基于“编码—解码”结构的对话模型可以在大规模的对话语料上以端到端的方式训练。另一方面，根据当前对话自动生成对应回复的模型为自动对话系统的构建提供了新的范式。

由于对话语料中的词频符合长尾分布[2]，且模型的优化目标属于经验风险最小化，基于“编码—解码”结构的对话模型更趋于产生信息量低的回复。为了解决这个问题，很多研究者从目标函数[3]、解码方法[4]、主题信息[5]等方面进行了深入探索。同时，也有研究者注意到，知识在对话过程中也起着十分重要的作用，知识不仅有助于对话的理解，对话之间的内在联系[6-7]分析，还能够为回复生成提供更丰富的信息，增加对话的广度和深度。而知识图谱[8-9]作为一种高度结构化的知识，能够以三元组(实体，关系，属性)的形式提供高质量的知识。如何在端到端的模型中有效利用知识图谱，将其融入到“编码—解码”结构中，正吸引着越来越多研究者的目光。

为此，本文提出了一种基于知识拷贝机制的生成式对话模型。首先，本文使用提出基于知识图谱的映射机制对对话内容进行处理，利用知识图谱将对话中出现的实体和属性映射为特殊的标识符，从一定程度上克服词频分布不均导致的生成回复信息量低的问题。……