基于知识蒸馏的口语理解模型研究与实现

侯晓龙 周培林 邹月娴

（北京大学深圳研究生院现代数字信号处理实验室 广东省深圳市 518055）

1 引言

近年来人工智能技术发展十分迅速，基于深度神经网络（DNN）的自然语言处理技术取得了长足进步，并获得广泛且成功的应用，多个商业场景中的人机对话系统就是典型案例。例如，常见的天猫精灵、小爱同学等智能音箱产品给用户提供音乐播放、天气查询、聊天等服务；阿里小蜜、京东JIMI 等在线智能客服机器人，能及时解决用户购物过程中遇到的问题，加速成单转化和提升用户体验，同时大幅降低企业客服人力投入。因此，人机对话系统具有巨大的商业价值。

一个完整的人机对话系统包括以下五大模块：语音识别（Automatic Speech Recognition,ASR）、口语理解（Spoken Language Understanding,SLU）、对话管理（Dialogue Management,DM）、自然语言生成（Nature Language Generation,NLG）和语音合成模块（Text-To-Speech,TTS）。其中，口语理解是对话系统的关键组成部分，意图识别与槽位填充是口语理解的两个重要子任务。意图识别旨在从用户表达中识别出用户的意图，其实质为文本分类问题。槽位填充则是从用户表达中提取出为了完成某项任务所需要的语义概念，其实质是序列标注问题。这两个子任务的性能好坏直接影响到人机对话系统能否正确理解用户的意图以及做出正确响应。因此针对意图识别和槽位填充模型性能提升的研究，有助于提升人机对话系统的整体性能表现，具有重要的科研及工业应用价值。

目前，针对口语理解中的意图识别与槽位填充任务，主要有两种技术路线：一是分别对意图识别和槽位填充进行独立建模，另一类方法是对这两个任务进行联合建模。……