基于同义实体扩展的冗余信息去重

姜孟晋，周雅倩，黄萱菁

(复旦大学 计算机科学技术学院，上海 201203)

1 引言

对于数量呈爆炸式增长的网页，以及其中包含的海量信息，用户在搜索时，不仅想获得所关注的网页，更想直接拿到需求的结果(例如，用户搜索书籍名，就是想直接获得书籍介绍、评价、网上书店链接等信息)。因此，针对各种不同应用的垂直搜索引擎应运而生。

然而，网络上的信息冗余问题十分严重，而垂直搜索引擎不希望将冗余信息返回给用户，因而要对抽取的信息进行合并。网页信息的冗余，不仅存在于不同的网站之间，有时也存在于同一个网站之中。这些冗余不仅包括网络中恶意的抄袭拷贝，也包括不同信息源之间对同一事物的不同描述。因而，信息冗余判断和去重是一个十分棘手的问题。

信息通常会以若干个元素组成，在抽取信息时会把不同的信息元素区分抽取出，然后将整个信息表示为多个信息元素组成的形式，以事件信息为例，简单的包括了事件名，事件发生的时间和地点等，可表示为：事件信息={事件名+发生时间+发生地点}。

信息在这种多元表示下，去重任务就要以每个信息元素的相似性为基础，从以往的研究来看，命名实体信息元素的冗余判断往往是信息去重中最难处理的一环。

例如，在处理表1的五个信息时，1,2,3事件虽然地名不同，但是事件名和时间非常相似，而实际上“上海大舞台”和“上海体育馆”是同一地名，如果没有非常完备的同义外部知识库支持，很难仅从文本上得到两个地名实体是同义的。……