一种深度偏最小二乘相关分析的多模态融合方法

苏树智，张若楠，郜一玮，高鹏连，朱 刚

(1.安徽理工大学计算机科学与工程学院，安徽 淮南 232001;2.合肥综合性国家科学中心能源研究院，安徽 合肥 230031)

典型相关分析(Canonical Correlation Analysis, CCA)是处理多模态数据的统计学方法，旨在最大化不同模态特征之间的相关性，目前已经被成功应用于很多领域。文献[2]将CCA用于多模态特征学习和数据融合，并在图像识别中获得了良好的实验结果。从不同的角度，文献[3]通过使用随机化方法降低典型相关分析的时间复杂度，提出了统计CCA方法，实现投影方向的快速学习。文献[4]结合核方法，将低维数据映射到高维度，以解决在低维度无法解决的非线性困境，提出核化典型相关分析(Kernerl Canonical Correlation Analysis，Kernel CCA)方法，实现对低维非线性数据的有效融合，文献[5]提出一种基于点阵量化的非线性相关分析问题的信息理论压缩表示框架，使得CCA面对非线性问题时仍能具有较好的性能。文献[6]将典型相关分析从两模态扩展到两个或两个以上的模态，提出了多视图CCA方法，并在大脑数据分析中获得良好的实验结果。文献[7]结合深度神经网络，提出深度CCA(Deep CCA)方法，以解决典型相关分析难以掌握原始高维数据的内在非线性结构信息。但在现实数据环境中往往会遇到样本维度较高且样本与样本之间又具有较高的相关性的问题，此时基于典型相关分析的数据融合将受到较多的限制，为了解决该问题，偏最小二乘(Partial Least Square Method, PLS)方法结合主成分分析、典型相关分析以及线性回归分析，从理论上解决数据融合时的高维线性不可分问题，PLS由于其在上述问题的出色性能，目前已经成功应用于医学成像分析、生物成分分析、光谱图像处理、植物特征分析等生物医学领域。……