矩阵分解在典型相关分析与线性判别法中的应用

张子明，徐常青

（苏州科技大学 数理学院，江苏 苏州215009）

大数据是当前研究的热门学科之一，它涉及信息科学、统计学、计算数学、计算机科学和数值分析等，属交叉性应用领域[1]。尽管到目前为止大数据还没有一个统一的数学化定义，但通常人们把大数据理解为比传统数据更复杂、维数更高且具有量（Volume）大（可达10 个Tb 以上）、更新快（velocity）、类型多（variety）三个特征（称为3V）[2]。数据分析中著名的维数魔咒（The curse of dimensions）问题[3]描述当样本点对应的特征向量（feature vector） 维数达一定程度后，相应变量或不变量的计算量（如样本点集合对应的主成分的计算）将呈指数增长。这类问题在计算机网络、张量分解（如张量CP 分解[4]）和模式识别等学科和理论中普遍存在，因此，降维问题是大数据和传统数据分析面临的一个关键问题[5]。

高维数据集对应一个高维样本集，而数据分析的最终目的是对样本分类并建立样本分类预测模型。高维数据不仅难以被人们直观理解，也难以被现有的机器学习和数据挖掘算法有效处理，因而很难建立样本分类预测模型，比如LDA 算法在高维数据中往往性能不佳[6]。另一方面，低维统计度量在许多统计问题中有着重要的作用，如数据的统计分析和数据特征可视化等[7]。寻找一个从高维空间到低维空间的一个具有某种理想属性的映射以实现数据降维是挖掘高维数据中有效信息的必要步骤[8]。

线性子空间学习（Linear Subspace Learning，简称LSL）方法尝试寻找这样一类线性映射，它将高维数据集合中的样本点投影至一个低维线性空间，以实现数据的降维[9]。……