基于百度网页的中文自动问答应用研究

石凤贵

（马鞍山师范高等专科学校软件工程系，马鞍山243041）

0 引言

互联网是一个庞大的知识库，在浩瀚的知识库中，我们如何索取所需知识？搜索引擎完成了这个任务。百度搜索是全球最大的中文搜索，拥有全球最大的中文网页库，网页数量每天以万级的速度增长。百度提供的服务包括百度网页、百度知道、百度贴吧等。搜索引擎大多以关键词的方式检索信息，不能清晰地理解用户的要表达的意图，返回结果是网页的集合，需要用户进行二次筛选。对于传统的自动问答系统需要建立一个非常庞大的知识库，这个成本相当大。我们可以充分发挥搜索引擎和自动问答的各自优点，有机结合。

本文结合自然语言处理技术和网络爬虫技术，利用百度网页搜索功能，构建自动问答系统。将互联网作为自动问答系统的知识库，通过爬虫技术利用百度搜索对用户问题进行检索，根据检索结果构建语料库，利用自然语言处理技术对检索结果进行答案提取，从而将答案返回给用户。

1 自动问答

自然语言处理（Natural Language Processing，简称NLP）是计算机科学领域与人工智能领域中的一个重要方向，研究人与计算机之间用自然语言进行有效通信，融语言学、计算机科学、数学于一体的科学。问答系统（Question Answering，简称QA）是自然语言处理领域的一个重要应用，具有非常高的使用价值。

1.1 问答系统模型

问答系统模型[1]分为四层，分别为用户层、问题理解层、检索层、数据层：

用户层：即UI 层，提供用户输入问题，显示系统返回的答案。……