基于特征贡献度与线性搜索的特征选择方法

郭文斌，丘康平，蔡惠坤

（1.广东工业大学机电工程学院，广州510006；2.广州广日电梯工业有限公司，广州511447；3.中移互联网有限公司，广州510640）

0 引言

随着大数据时代来临，互联网、工业和制造等行业积累了大量的数据，基于数据驱动业务的研究成为国内外研究的热点方向。各种形式的数据处理技术的出现，使得数据挖掘和数据分析等效率更高，利用能被用于数据分析或者机器学习建模的数据往往特征空间庞大而且复杂，面对高维且特征空间巨大的数据，去除特征冗余，降低数据维度，提高建模计算空间，节省计算性能将成为数据处理相关的难题之一。在回归问题中，高维数据特征与目标特征之间往往呈现非线性的关系，数据特征空间中隐含的对目标结果不相关或者冗余的数据特征会影响数据建模的性能以及准确性，快速且有效的特征选择方法有助于简化学习模型学习空间。本文将某特种设备相关的高维预处理数据作为研究对象，使用基于特征参数的贡献度分析，结合参数的贡献度排序与分布，进行线性搜索，实现搜索路径上的最优解，并消除冗余特征，提高建模性能。

1 研究现状分析

特征选择问题最早于20世纪60年代被提出，最初用于研究统计学和信号处理领域，后逐步将特征选择延伸至机器学习、模式识别等领域[1]。按照特征选择和机器学习器的结合方式不同，可以将特征选择方式分为四种，分别为过滤式[2]、封装式[3]、嵌入式[4]和集成式，按照特征选择的搜索策略，可以分为全局最优搜索、随机搜索和启发式搜索等算法[5-6]。……