光谱数据解析中的变量筛选方法

李艳坤，董汝南，张 进，黄克楠，毛志毅

1.华北电力大学(保定)环境科学与工程系，河北省燃煤电站烟气多污染物协同控制重点实验室，河北 保定 071003 2.贵州医科大学食品科学学院，贵州 贵阳 550025 3.中国人民解放军陆军第八十二集团军医院，河北 保定 071000 4.天津市建筑材料科学研究院有限公司，天津 300110

引 言

随着测量技术的飞速发展，现代分析仪器的多个分析通道可提供丰富的数据，从而获取海量及高维数据变得愈加容易。然而在数据的多元模型构建中，不是所有的变量都适合进入最终的模型。冗余及干扰变量的存在都会影响模型准确性；或者有时获取某些变量的成本过高，从而需要摒弃某些变量；当然对因变量影响显著的自变量若未进入模型，也会影响模型的准确性。而通过筛选变量能够提取出代表体系组成和特点的信息变量，从而达到数据降维、模型简化、提高预测效率乃至提高模型解释或预测性能的目的。所以，变量筛选已成为目前多元模型构建中的一个重要步骤。近年来，光谱领域中变量筛选方法的研究取得了很大的进展。图1显示出变量(波长)筛选相关出版论文数量从2004年—2019年呈逐年增长趋势(来源：SCI-EXPANDED with searchtopic “variable-selection” or “wavelength-selection”)。光谱数据大都存在量大、波段数多等特点。例如，使用傅里叶变换近红外(near-infrared，NIR)分析仪时，6 000 cm-1光谱范围内可获得1 557个光谱点(变量)[1]。包括噪声、基线漂移、谱带重叠、背景干扰、杂散光等诸多因素的影响，会不可避免地导致数据中包含冗余和干扰变量。……