从IBM深度问答系统战胜顶尖人类选手所想到的

黄昌宁

(微软亚洲研究院，北京 100080)

Jeopardy(危险边缘)是美国著名的电视竞答节目，有长达25年的历史。它有两位最负盛名的冠军： 一位是在该节目中连赢74场的Ken Jennings，另一位是获得奖金总额最高的选手Brad Rulter，他在这档节目中累计赢下235万美元。在今年2月14-16日的Jeoparty电视节目中，装载着深度问答(DeepQA)系统的IBM超级计算机沃森(Watson)以77 147分的绝对优势战胜两位前冠军，Ken和Brad只分别赢得24 000分和21 600分。

这是继1997年IBM超级计算机深蓝(Deep Blue)在一场国际象棋比赛中击败世界冠军卡斯帕洛夫之后，人工智能研究历史上的又一个里程碑式的辉煌胜利，意义非凡。本文通过深度问答系统的成功来回顾国内外自然语言处理(NLP)和自动问答技术研究的某些得失，借此纪念中国中文信息学会成立30周年诞辰。

1 DeepQA系统获胜的主要原因

David Ferrucci是IBM DeepQA项目*http://www.research.ibm.com/deepqa/deepqa.shtml的负责人。他在论文[1]中称，为了面对Jeopardy的挑战，DeepQA采用了海量并行和基于证据的概率型架构，整个系统体现了高级自然语言处理、信息检索、知识表示、自动推理、机器学习等开放式问答技术。Ferrucci认为，比分支技术重要得多的是怎样把它们适当地整合到问答系统中来，从而使得这些原本互相交叉重叠的技术都能够把各自的优势贡献给整个系统的三个关键指标——正确率、自信度和速度。Ferrucci在文中介绍了DeepQA的以下三个主要技术：

(1)海量并行主义(massive parallelism)： 在对回答的多重解释和假设的考察中，充分贯彻并行主义。(2)无处不在的自信度计算(pervasive confidence estimation)： 系统中没有一个部件可以独立地对一个回答的正误负责，每个部件都在各自产生的结果上伴有一个自信度值，后者随着问题和内容解释的不同而相应变化。……