特征选择稳定性方法研究*

王吉川 刘艺

(国防科技创新研究院,北京 100071)

0 引言

特征选择是重要且常用的降维方法,然而长期以来,特征选择的研究聚焦于提升学习算法的预测性能,忽视了稳定性的重要性。

特征选择稳定性是指特征选择方法对样本的微小扰动具有一定的鲁棒性。通过提升特征选择方法的稳定性,能够提高特征子集的相似性,进而增强领域专家的可信度,提升发现相关特征和领域知识的概率,有效降低数据采集和存储的复杂度,同时一定程度上提升学习算法的预测能力[1]。

特征选择稳定性的研究在国际上已经展开了十几年,形成了较为系统的研究体系,并在诸多领域得到了深入的应用,然而国内鲜有这方面的成果。根据采用的策略不同,特征选择稳定性提升方法可以分为扰动法、特征法,其中扰动法包括数据扰动法、函数扰动法和混合法;特征法包括组特征法和特征信息法。本文对近年来的特征选择稳定性提升方法做深入的总结,阐述每种方法的特点和典型代表,给出未来的研究方向。

1 扰动法研究进展

扰动法是基于集成学习的思想,融合多个特征子集构成稳定特征集合的方法,包括数据扰动法、函数扰动法和混合法。

数据扰动法是对训练数据进行划分或采样,生成多个数据子集,在数据子集上选择特征,融合多个特征子集得到结果。文献[2]为了提升特征选择的稳定性,每次抽样训练数据的一半,并通过不同超参数的结构化稀疏性的贝叶斯多类非负矩阵分解模型进行选择。……