基于随机旋转集成的降维方法

,

(上海理工大学 管理学院,上海 200093)

基于随机旋转集成的降维方法

王椭,肖庆宪

(上海理工大学 管理学院,上海200093)

对随机旋转集成方法提出了一种针对降维问题的改进,得到了新的降维算法框架进行随机变换降维,可以显著减少降维过程中造成的信息损失.采用随机变换降维后,训练监督学习算法时可以获得更高的准确率和更好的泛化性能.通过在模拟数据上进行的实验,证明了使用多重共线性数据进行回归分析时,与传统降维算法相比,经随机变换降维处理后可以保留更多的信息,获得更小的均方误差.对随机变换降维在手写数字识别数据集上的表现进行了研究,证明了与一般性的降维算法相比,随机变换降维在图像分类问题上可以获得更高的准确率.

集成学习; 随机旋转集成; 降维; 多样性

高维数据的处理一直是机器学习领域的重要问题,尤其是近年来机器学习的几个重要应用方向,如计算机视觉、自然语言处理等,都必须面对高维数据带来的挑战.数据的维数越大,处理数据所需的时间消耗与储存空间消耗就越大,还可能存在许多与给定任务无关的特征甚至存在大量噪声,或是出现数据冗余、样本稀疏及多重共线性问题对数据分析造成干扰.要想克服这些高维数据带来的问题,必须对数据进行一定的加工和处理.

在过去的几十年里,有大量的降维方法被不断地提出并被深入研究,其中常用的包括……