秦玉华, 张 萌*, 杨 宁, 单秋甫
1. 青岛科技大学信息科学技术学院, 山东 青岛 266061 2. 青岛蓝智现代服务业数字工程技术研究中心, 山东 青岛 266071 3. 云南中烟工业有限责任公司技术中心, 云南 昆明 650024
近年来, 近红外光谱分析技术(NIR)因其简便、 环保、 速度快、 不损坏样品等优点, 已经在农业、 石化、 食品、 烟草等众多领域占有重要地位[1]。 产品的近红外光谱中含有超90%的结构信息, 能够较全面的表征产品的质量信息。 而相似性度量作为一种衡量数据间差异的重要方法, 广泛应用于机器学习和数据挖掘领域[2]。 对近红外光谱进行相似性度量, 可实现产品之间质量相似性的评价; 该方法也可用于食品、 卷烟等各类配方产品相近原料的查找和替换。 但近红外光谱数据具有高维、 非线性、 高噪声、 高冗余的特点, 同时存在数据分布稀疏和空空间现象[3], 导致相似性度量在低维空间常用的距离度量方式失效, 因此需要研究一种高效的适用于高维数据的相似性度量方法, 解决高维空间存在的“维度灾难”问题。
贺玲等[4]对高维空间进行基于网格划分的子空间相似性度量, 但只能避免噪声对高维数据的影响。 谢明霞等[5]提出了一种高维数据的相似性度量函数, 可以有效缓解高维的影响, 但此函数的提出基于聚类算法, 并不具有普遍性。 曹鹏云等[6]提出一种基于核方法和测地线距离的高维空间相似性度量方法, 解决了传统度量中低维保距映射的问题, 但不适用于稀疏的光谱样本。……