一种基于动态降维的数据约简方法

陈 衡

(淮北职业技术学院 教务处，安徽 淮北 235000)

一种基于动态降维的数据约简方法

陈 衡

(淮北职业技术学院 教务处，安徽 淮北 235000)

根据数据处理形式的不同,提出基于动态降维的数据约简方法和多维度动态降维算法。通过引入数据冗余删除理论，降低数据的冗余程度；采用数据降维技术，实现数据清洗，数据结构并行，提升核心数据的知识表示能力。最后通过实验验证了本方法的有效性。

数据降维；数据约简；数据优化

大数据是大规模聚合的多格式自主异构数据源。[1]大规模海量数据是大数据的首要特征，数据信息的获取依赖于大规模数据中心和存储区域网络结点。海量的大数据不仅导致数据具有异质性，也使得数据具有互不相同的维度属性。因此，最大程度的减小大数据的数据规模，提高有价值数据比，显得尤为迫切。[2]此外，为了避免存储和处理横向资源的消耗，大数据流需要在线处理。高速性大数据处理是其第二个关键因素。高速性指的是处理数据流的高频率，例太阳能动力学天文台每天产生超过1T字节的数据，只有在约简或数据压缩之后，快速大数据分析才可能实现。另一方面，大数据集所带来的维数灾难，使得数据表示与计算十分困难。为了最大限度地挖掘有效知识模式，数百万的相关维度信息(包括变量，特征，属性等)需要在不影响原始语义的前提下，尽可能多的简化。如研究互联网用户的搜索概况，必然涉及用户行为的配置文件，该文件是包含搜索、页面浏览和点击流数据的稀疏矩阵，具有高维度的搜索关键字和网址。……