侯丽仙,李艳玲,林 民,李成城
内蒙古师范大学计算机科学技术学院,呼和浩特 010022
口语理解是对话系统中至关重要的一部分,其性能直接影响整个对话系统的性能[1-2],意图识别和语义槽填充是口语理解的两个子任务[3-4]。意图识别任务主要分析理解输入语句中用户话语行为,语义槽填充任务主要解决特定领域关键词以及属性的标注问题,口语理解通过完成两个任务并将意图和关键词用语义框架表示出来,有助于后续对话系统的研究。
解决意图识别任务的传统方法包括支持向量机(support vector machine,SVM)[5]、朴素贝叶斯(naive Bayes,NB)[6]、决策树(decision tree,DT)[7]等。解决语义槽填充任务的传统方法包括条件随机场(conditional random fields,CRF)[8]、隐马尔可夫(hidden Markov model,HMM)[9]模型、最大熵(maximum entropy,ME)[10]模型等。
对于口语理解任务,通过上下文获取用户表达中词汇的语义信息以及全局语法信息至关重要。近年来,由于深度神经网络可以自主学习输入文本的特征,以及在训练过程中能捕获更深层次语义信息等优点,因此在口语理解任务中被广泛应用。由于双向长短时记忆网络(bidirectional long short-term memory,BLSTM)可以捕获上下文信息,CRF可以根据标签间的关系进行结果调整,使得标注结果更为准确,因此有学者将BLSTM神经网络模型与CRF语言模型相结合应用于不同领域的命名实体识别任务[11-13]。
意图识别和语义槽填充两个任务相互依赖,例如一个短文本的意图是“查阅书籍”,那么该短文本很可能包含“作者”及“书名”等相关语义槽类型;而一个短文本的意图是“预定机票”时,那么该短文本可能包含“出发城市”“到达城市”以及“出发日期”等相关语义槽类型。……