李洪奇 杨中国 朱丽萍 刘 蔷
(中国石油大学石油数据挖掘北京市重点实验室 北京 102249)(中国石油大学计算机系 北京 102249)
基于数据集特征的KNN最优K值预测方法
李洪奇杨中国朱丽萍刘蔷
(中国石油大学石油数据挖掘北京市重点实验室北京 102249)(中国石油大学计算机系北京 102249)
摘要KNN算法中的参数K的选择一般采取多次交叉验证方法求取,数据规模较大时并不适用。同时,影响参数选择最根本的因素是数据集本身。因此,提出利用数据集本身的特征预测最优K值的方法。首先提取历史数据集的简单特征、统计特征、信息熵特征、简单算法精度特征、复杂度特征等构建特征向量,然后利用线性回归、神经网络等方法建立特征向量与最优K值之间的预测模型,并用该模型预测新数据集的最优K值。在UCI数据集上的实验表明,该方法能迅速预测最优K值,并确保一定的精度。
关键词KNN分类算法数据集特征信息熵最优K
0引言
KNN分类算法[1]是机器学习领域的一个经典算法,该算法简单、易于实现,被列为数据挖掘十大算法之一[2]。KNN是一种基于实例的学习算法,它的分类原理是寻找与被预测对象最相似的K个对象—邻居,由邻居确定被预测对象的类别。K值决定了邻居的个数,进一步决定了密度估计的平滑度,它的取值是一个重要的问题[3]。如果值取得过小,则算法易受噪声的影响,使分类结果不稳定;值取得过大,则模型偏向于将预测对象为类别数量多的一类。同时,过大的K值也增加了算法的时间复杂度。……