动态加权条件互信息的特征选择算法

张 俐 陈小波

①(江苏理工学院计算机工程学院 常州 213001)

②(北京邮电大学可信分布式计算与服务教育部重点实验室 北京 100876)

③(中国人民银行常州市中心支行 常州 213001)

1 引言

在过去几十年里，新型计算机和互联网技术正在以前所未有的速度产生着大量高维数据[1,2]。在这些高维数据中包含着许多无关和冗余特征。因为不相关和冗余特征不仅会增加模型训练时间而且也使得模型的可解释变得很差。如何处理这些不相关和冗余特征是数据分析和知识发现中所面临的重大挑战。特征选择不同于其他数据降维技术(如特征提取)[3]，它可以删除无关和冗余特征，保留相关原始物理特征，从而降低数据维数。这样有利于提高数据质量和分类性能，并使得模型的训练时间大幅缩小而且也使得模型的可解释性变得更强[4,5]。

通常特征选择技术又分为分类依赖型[6](包装器方法和嵌入式方法)和分类器无关型(过滤式方法)。基于信息论的过滤式特征选择方法优点[7–11]为：(1)它可以直接从数据中提取有价值的知识，而且这些知识对于问题真正的解决又起到至关重要作用。(2)它的计算成本低且与具体分类器无关。(3)目前该方法应用领域广泛，包括基因表达数据、文本分类和网络入侵检测等多个领域。因此基于信息论的过滤式特征选择方法逐渐成为特征选择技术的研究热点[12–16]。

常见基于信息论的特征选择算法[5,17–19]可分为两类。最小化冗余特征的算法(maxMIFS[8]，MRMR[20]，CIFE[8]，CMIM[8]和JMI[10]等)和最大化新分类信息的算法(DCSF[12]和JMIM[16])。……