王钰宁,刘晓霞,周绍军
(四川水利职业技术学院信息工程系,四川崇州,611231)
关键字:重复率;相似度;估计;检测算法
Web 信息正经历着爆炸性增长,海量文档中存在大量的相似信息,斯坦福大学研究成果表明:近似的网页数量占总网页数量的比例为29%,而完全相同的网页数量大约占总的网页数目的22%。这些重复网页大多只在内容上略微修改,有的甚至只是格式不同。这些相似性文档一方面消耗了高额的检索资源,另一方面影响了用户的使用。文档的数字化和易获性在提供了更方便的交流学习环境的同时,也使得非法复制、剽窃等行为越来越容易。
文档的相似性检测技术从文档内容的相似程度上判断文档是否为有抄袭剽窃的嫌疑。所谓文档相似性检测,就是判断一个文件的内容与另外一个或者多个文件的相似程度,以检测抄袭剽窃。而剽窃不仅仅意味着对原作原封不动地照抄,还包括对原作的移位变换、同义词替换以及改变说法重述等方式。文档相似性检测技术可以应用在数字化图书馆、搜索引擎、论文查重、基金申请、奖励评审等很多领域,为用户减小信息的存储空间,高速搜索信息,防止论文、基金申请书、项目报奖、专利剽窃和网页去重提供了很好的解决方案。
文档相似性检测的核心内容就是判断两篇文本内容是否存在重复成分,并给出一个相似度数值评估。两篇文档A 和B的相似度R(A,B),是一个介于0 和1 之间的数。……