陈柯锦,许光銮,郭 智,梁 霄
(1.中国科学院大学电子电气与通信工程学院,北京 100049; 2.中国科学院电子学研究所,北京 100190; 3.中国科学院空间信息处理与应用系统技术重点实验室,北京 100190)
随着互联网技术与人工智能的发展,自然语言处理相关领域得到研究者们越来越多的重视。传统的搜索引擎技术采用关键字匹配和浅层语义分析已经无法解决大数据时代的诸多问题,用户亟需一种快速准确的信息获取方式。智能问答技术可对数据进行更有效的组织和管理,借助人工智能相关技术对问题和答案进行深度语义分析,向用户提供更为精确的答案,已经被预见为下一代搜索引擎的核心技术。问答系统主要分为基于Web检索的问答系统、基于社区的问答系统以及基于知识图谱的问答系统。这3种问答系统都包含问题分类、问题分析和答案选择等模块,其中问题分类是问答系统的第一步,其通过对用户期望的答案类型对问题进行分类,对后续获取更为准确的答案至关重要。
本文主要解决基于社区的问答系统中的问题分类问题,其分类的目的是对社区问题进行主题分类,有助于提高答案选择模块的排序准确率。传统的问题分类方法,主要对问题进行表示学习,通过分类模型对问题分类,但是社区问答中大多数问题表现为短文本,其存在信息缺失的问题,传统方法只借助于问题的语义特征很难判别问题类别。如表1所示,对于问题“苹果现在多少钱”,由于“苹果”的多重语义,传统的方法对于此类问题很难准确判断主题类别。……