面向大规模数据的在线新事件检测

蔡偃武,高大启,阮 彤,蒋锐权

(1.华东理工大学计算机科学与工程系,上海200237;2.上海证券交易所技术开发部,上海200120)

面向大规模数据的在线新事件检测

蔡偃武1,高大启1,阮 彤1,蒋锐权2

(1.华东理工大学计算机科学与工程系,上海200237;2.上海证券交易所技术开发部,上海200120)

通过分析基于新闻要素的在线新事件检测算法的时间消耗,提出一种面向大规模数据环境的在线新事件检测算法。该算法利用基于倒排索引的高效相似报道搜索机制,有效减少单路径聚类算法中的相似度比较次数。通过对报道预处理、报道与事件比较以及索引搜索这3个过程的并行化,提高算法在多机环境下的运行效率和可伸缩性。实验结果表明,该算法在不影响漏检率和误检率的基础上,提高了新事件检测的速度,并且在千万到亿级别的报道规模下,其吞吐量达到150条/s～200条/s。

新事件检测;单路径聚类;大规模数据;并行计算;倒排索引;MapReduce架构

1 概述

随着大数据时代的来临,如何解决互联网上的海量信息的过载问题,成为当前研究的一大热点。解决互联网信息过载的前提在于合理的组织信息,然后以一定的方式把信息提供给用户。解决信息过载的一种方式是使用基于关键词的信息检索,该方法预先将海量信息按关键词进行组织,用户在需要查询信息时,通过对指定关键词进行匹配获得相关信息。然而,基于关键词信息检索技术的局限性也非常明显,在许多情况下,用户难以用关键词精准地表达自己的信息查询意图。……