一种基于信息熵的自适应k值KNN二分类方法

2021-12-10 04:07:06林泳昌朱晓姝
合肥工业大学学报(自然科学版) 2021年11期
关键词:分类方法模型

谢 妙, 林泳昌, 朱晓姝

(玉林师范学院 计算机科学与工程学院,广西 玉林 537000)

0 引 言

k最近邻(k-nearest neighbor,KNN)算法是十大数据挖掘“经典算法”之一[1]。对于任意给定测试样本,KNN算法基于距离度量找出训练集中与其最靠近的k个训练样本,然后基于这k个最近“邻居”的分类属性来预测该测试样本的类型[2]。由于KNN算法的k值一般是根据经验设定或利用十折交叉法得到,使得k值存在一定的不合理性。另外,由于没有考虑样本之间的相关性,相同属性的权重也影响了分类准确率。为此,许多学者对KNN算法进行了改进;文献[3]提出了一种距离加权KNN算法,该算法在传统KNN算法基础上,考虑分类时各类近邻样本与待分类样本的平均距离,但并未考虑属性值对类别的影响;文献[4]考虑不同的特征对分类重要性的影响,通过特征选择和特征加权途径改进距离度量;文献[5]基于待分类样本的互近邻及近邻诱导待分类样本类标签的可信度,提出了一种新的k最近邻的分类算法;文献[6]提出利用数据集本身的特征预测最优k值的方法;文献[7]提出一种基于属性值信息熵的KNN改进算法,该算法首先定义2个样本间的距离为相同属性值的平均信息熵,然后根据此距离选取与待测试样本距离最小的k个近邻,最后根据各类近邻样本点的平均距离及个数判断待测试样本的类别。虽然分类准确率有所提高,但未考虑近邻样本间的相似度;文献[8]提出了一种自适应的KNN算法,自适应计算k值和每个样……

登录APP查看全文

猜你喜欢
分类方法模型
一半模型
分类算一算
重尾非线性自回归模型自加权M-估计的渐近分布
教你一招:数的分类
3D打印中的模型分割与打包
用对方法才能瘦
Coco薇(2016年2期)2016-03-22 02:42:52
四大方法 教你不再“坐以待病”!
Coco薇(2015年1期)2015-08-13 02:47:34
捕鱼