大数据时代的数据挖掘技术及应用

朱芷莹 余思贤

摘 要：当今世界正处于从IT时代向DT时代迈进的过渡阶段，大数据时代。数据挖掘技术是一种数据处理技术，其前景非常理想，本文以数据挖掘的定义为出发点，细致的介绍了各种数据挖掘的技术方法，总结其特点，并给出相应的应用领域。

关键词：DT时代；数据挖掘；应用领域

大数据的概念最先出现于网络上，它用于描述一个现象：互联网公司日常运营所产生和积累的客户数据量呈现爆炸式增长，导致现有数据管理软件无法驾驭，其难点在于，数据的获取、存储、处理和分析。这种數据量，不是用日常衡量单位G或T来衡量，而是P（220G）、E（230G）或Z（240G）或者更大的数量级来度量。所以被称为大数据[1]。大数据的主要来源有4个方面，分别为传感器、网站点击流、移动设备和射频识别。其特点是数据源异构复杂和种类繁多、数据量体量大、实时处理困难。

数据挖掘技术作为一种数据处理技术，能有效从大量数据中获取有效信息，能较好针对大数据特点，处理大数据。因此，其在大数据时代背景下，有远大的前景和充足的应用空间。

1.数据挖掘

数据挖掘作为一门新兴的交叉学科[2]，其广义上的定义为，从数据集里面获取隐晦的有用的信息和知识的过程。其操作的核心理念：基于对数据集的深刻认识，高度抽象并概括数据本质，将数据隐藏的信息变得易于读取。这些数据集往往具有大规模性、不完全性、参杂噪声、模糊性和随机性的特点，涵盖了大数据的特点。……