稀疏条件下的两层分类算法

仝伯兵，王士同，梅向东

（1. 江南大学 数字媒体学院，江苏 无锡 214122； 2. 赞奇科技发展有限公司，江苏 常州 213000）



稀疏条件下的两层分类算法

仝伯兵1，王士同1，梅向东2

（1. 江南大学 数字媒体学院，江苏 无锡 214122； 2. 赞奇科技发展有限公司，江苏 常州 213000）

在有限样本下距离量的选择对最近邻算法（K-nearest neighbor，KNN）算法有重要影响。针对以前距离量学习泛化性不强以及时间效率不高的问题，提出了一种稀疏条件下的两层分类算法（sparsity-inspired two-level classification algorithm，STLCA）。该算法分为高低2层，在低层使用欧氏距离确定一个未标记的样本局部子空间；在高层，用稀疏贝叶斯在子空间进行信息提取。由于其稀疏性，在噪声情况下有很好的稳定性，可泛化性强，且时间效率高。通过在噪声数据以及在视频烟雾检测中的应用表明，STLCA算法能取得更好的效果。

稀疏贝叶斯；两层分类；距离学习；视频烟雾检测；最近邻算法；有限样本；泛化性；时间效率

在分类问题中，最近邻算法（K-nearest neighbor， KNN）是一种古老而又精确的确定决策边界的非线性分类算法。给定一组训练数据，KNN通过k个临近的样本中大多数标签集对未知样本进行预测。研究表明[1]，最近邻规则的渐近错误率最多是贝叶斯分类错误率的2倍，而且跟所使用的距离量无关。

当训练集有无限数量的样本时，类条件概率在无穷小的未标记测试样本域中是常量而与所采用距离量的形式无关。由于欧氏距离在输入空间中具有均匀的各向同性的性质，因此，欧氏距离作为距离度量来确定最近邻样本是自然的选择。……