基于信息熵度量的局部线性嵌入算法

刘 均, 宫子栋, 吴 力

(1. 东北石油大学 电气信息工程学院, 黑龙江 大庆 163318； 2. 大庆油田有限责任公司 天然气分公司培训中心, 黑龙江 大庆 163453)

在现代工业环境中, 随着数据采集设备不断地进行更新迭代, 采集的数据通常具有高维特征, 致使机器学习算法出现两个问题： 1) 随着维数的增加, 计算量会呈指数倍增长, 降低了算法的计算效率[1]； 2) 维数灾难增加了评估数据间相似性的难度, 影响算法性能. 通过将数据采用维数约简算法进行处理, 减少数据的维度冗余[2], 是解决上述问题的有效方法, 已广泛应用于图像识别[3]和高维数据可视化[4]等领域.

维数约简方法一般可分为线性降维算法[5-6]与非线性降维算法[7]. 线性降维算法基于线性映射进行降维, 仅可处理线性数据集. 例如, 目前广泛使用的主成分分析(PCA)方法[8], 目的是找到最优投影方向, 使数据在投影方向上的方差最大且相互正交. 非线性降维算法通过非线性映射或局部线性变换处理复杂流形, 常见的算法有核化线性降维(KPCA)[9]、 等距特征映射(Isomap)[10]和局部线性嵌入(local linear embedding, LLE)[11-12]等, 其中LLE算法利用局部线性重构权重系数表示局部结构, 能保留数据的本质特征, 且算法参数选择较少, 计算复杂度相对较小、 易实现, 因此被广泛应用[13-16].

在LLE算法中, 构建最优邻域进行低维重构是保持数据拓扑结构不变的关键, 而邻域的结构挖掘取决于空间距离度量方法[17]. Daza-Santacoloma等[18]提出了一种相关诱导度量, 使用类标签作为额外信息估计近邻点, 以减轻距离差异给近邻点选择带来的影响; Liu等[19]提出了一种快速识别k近邻的方法, 通过求取相对方差和均值差形成表征相邻点数据分布的空间相关指数, 得到最佳k值选择邻域；……