自步稀疏最优均值主成分分析

许子微，陈秀宏

（江南大学 数字媒体学院，江苏 无锡 214122）

降维[1]是数据分类中的一个重要问题，其目的是学习一个变换矩阵，将高维数据投影到低维子空间中，使数据在低维子空间中得到有效地分类。经典的降维方法包括主成分分析(principal component analysis, PCA)[2-3]和线性判别分析(linear discriminant analysis, LDA)[4-5]，其中PCA是一种将数据信息投影到正交线性空间的无监督方法，原始PCA在对数据降维时，以平方欧氏距离来表示损失，而欧氏距离对噪声及异常值敏感。于是提出许多PCA变体来降低异常值的影响，例如 Nie等[6-7]提出非贪婪L1范数最大化的鲁棒主成分分析(robust principal component analysis,RPCA)，和基于L2,1范数的最优均值主成分分析(optimal mean robust principal component analysis,OMRPCA)来同时学习最优变换矩阵和最优均值。但通过RPCA和OMRPCA等模型得到的低维子空间的每个新特征都是高维空间中所有原始特征的线性组合，由于存在冗余特征，通常不适合分类。Zou等[8]提出了稀疏主成分分析(sparse principal component analysis, SPCA)。然而，因为在每个变换向量上施加L1范数，故SPCA不能联合地选择重要特征；Yi等[9]提出了联合稀疏主成分分析(joint sparse principal component analysis,JSPCA)，利用L2,1范数来表示损失项和正则项，在避免异常值影响的同时能联合地选择重要特征，从而增强算法的分类精度。

以上方法的每一个样本对应一个损失值，损失值的大小决定了样本对模型的贡献，这就表明了样本之间存在差异性，而这些方法均同等地对待所有训练样本，没有考虑样本之间的差异性。受人类/动物学习过程的启发，文献[10-11]提出了自定步长(或课程) (self-pace learning, SPL)学习理论，其主要思想是以自定步长方式来实现从“简单”到“复杂”样本的训练，最终学习得到一个成熟的模型。……