大数据背景下数据预处理方法研究运用

唐成龙，谌 颃，唐海春，吴泽锋

（1广州理工学院 广东 广州 510540）

（2广州科技贸易职业学院 广东 广州 511442）

1 引言

在经济快速发展的背景下，各类新进技术相继兴起应用，以云计算、大数据为代表应用频次最高，其内部蕴含的价值不可估测。现下海量数据高效处理，对目前技术应用提出新的要求，为进一步高效、及时获取数据信息中有效信息，需选取高速分析处理技术，对数据进行系统性分析优化升级。数据预处理工作是数据分析、挖掘前重要准备工作，选取科学处理方式，是保证最终数据质量及有效性举措。有必要分析加大数据预处理方式研究，提高数据预处理水平。

2 大数据背景下数据预处理价值分析

现下数据信息爆发式增长，为快速从海量数据中提取有价值信息，应选取有效技术措施，做好数据预处理工作，增强数据有效性。数据预处理作为数据挖掘与知识发现过程核心环节之一，加强数据预处理价值体现在以下几方面：（1）海量原始数据中通常包含以下特征：①不完整。属性值或仅包含聚离数据；②含噪音。数据内部含有错误或存在偏离预期分散数值；③不一致。数据记录规范性和逻辑性与其他数据未实现统一化，缺乏一定科学性。由于上述问题存在，人们使用数据过程中对其具有完整性、时效性及可靠性要求，所以需加强数据预处理，保证达成上述目标，为人们提供良好的服务。（2）由于数据采集规模较大，数据预处理通常需耗损大量时间，高质量决策依附于可靠度较高的数据，从实际中获取数据大多结构不一致、完整性不足等，无法实现直接利用目标。……