医学文献主题新颖性探测方法对比分析

，， ，

新异检测的主要目的在于建立二分类器,已在众多领域实现应用，如电子安全监测系统、健康信息及医学诊断检测、复杂商业系统监测及系统错误检测、图像处理及视频监测、无线传感器网络监测，以及文本挖掘领域。由于新异检测的应用领域广泛，不同领域的数据特点不同(包括维度、格式、连续性)，因此新异检测缺少统一的方法。在各个领域中开展的新异检测中，产生的各种计算方法按照假设理论的不同，可以划分为5类：概率分析方法。通常对正常数据进行密度值估算，假设训练数据中低密度值区域包含正常数据概率低。基于模型的方法(如神经网络算法)。利用训练数据构建回归模型，当异常数据映射到回归模型中，得到的回归值与真实值差距是一个较高的探测值。基于领域的方法。试图通过训练数据划定正常数据的边界，建立一个包含的正常数据的领域。基于距离的计算方法。假设异常数据距离正常数据较远，有最近邻计算方法以及聚类分析方法。信息计算技术(譬如墒计算，Kolmogorov计算方法)。计算训练数据中的信息含量，假设异常数据显著的改变信息含量。其中，前3种方法需要充足的训练数据，但实际检验阶段较为迅速。

文本挖掘领域的新异检测是从给定的文献集或新闻文献中探测新主题或新事件[1]。2002-2004年连续举办的文本检索领域权威的国际性评测会议TREC会议(Text Retrieval Conference，TREC)[2-4]进行了语句级别的文本内容新颖性探测赛事(Novelty Track)，其中清华大学、中国科学院均使用了词重叠法，表现优异。……