MD5算法在重复邮件识别方面的研究和实现

谢平华

贵州大学计算机科学与信息技术学院，贵州贵阳 550025

随着网络和通信技术的发展，国际互联网正日渐成为全球最大的信息媒体，在人们的生活中发挥着越来越重要的作用。其中，电子邮件作为一种新的联系方式，在互联网上的应用十分普遍，邮件服务器众多，用户数量巨大。通过电子邮件，人们可以方便、快捷地向他人传递信息，可以和他人实现跨时间、跨地域的相互交流。电子邮件正代替传统的通信信件，成为人们生活当中不可或缺的一部分。

在实际的应用中，舆情监测系统每天从互联网上实时获取大量的电子邮件信息，存储在本地之后，再进行后续地处理和分析，因为存在着以下的情况，很多重复的邮件也被采集存储下来：同一封邮件同时向地址簿中的多个联系人发送；向同一个人重复发送同一封邮件。重复邮件的存在，不仅浪费了宝贵的存储空间和带宽资源，而且大大增加了后端人员对邮件的处理和分析工作量。因此，对重复邮件进行识别和过滤，成为提高工作效率的关键环节。

但是，若采用直接比较邮件内容的方法来识别重复邮件，不仅需要将邮件原文全部保存入库，而且对大文本进行逐字匹配的效率也不高，算法在时间复杂度和空间复杂度上都有较大的缺憾，还会影响新邮件的实时接收。鉴于此，我们经过认真研究，决定在邮件分析程序中构造邮件要素的特征值，并应用MD5算法，实现对重复邮件的识别，从而准确、快速地将无用邮件过滤出来。……