滕文惠 闫媛媛 姚晓芳
摘 要:高质量的数据是数据分析和应用的重要保证,“脏数据”会导致不可靠输出,这种输出导致的结果有可能难以弥补,因此数据清洗尤为重要。该文重点阐述了数据清洗思路及利用Excel软件进行数据清洗的具体方法,为教育和科研工作者提供一些参考。
关键词:Excel 数据清洗 方法
中图分类号:G250.2 文献标识码:A 文章编号:1672-3791(2019)05(c)-0028-02
随着计算机及通信技术的迅猛发展,如今已经进入了全新的数字化及智能化时代。各种信息系统的广泛应用积累了大量的原始数据,分析这些数据的内在规律,预测相关业务量的发展趋势,已经成为各行各业的迫切需求,因此掌握数据分析技术显得尤为重要。而数据清洗又是整个数据分析过程中不可缺少的一个环节,其结果质量直接关系到模型效果和最终结论。在实际操作中,数据清洗通常会占据分析过程的50%~80%的时间。
1 数据清洗的定义
数据清洗,英文名为Data Cleaning或Data Scrubbing,是检测和去除数据集中的噪声数据和无关数据,处理遗漏数据,去除空白数据域和知识背景下的白噪声。也就是将重复、多余的数据筛选清除,将缺失的数据补充完整,将错误的数据纠正或者删除,最后整理成为标准的、干净的、连续的数据,提供给数据分析、数据挖掘等使用。
2 常用的数据清洗方式
实际工作中常用的数据清洗方式有人工清洗、计算机清洗及人工和计算机结合清洗。对于非标准数据或数据量较小的数据源,可使用人工清理的方式,即借助统计调查实际工作经验,通过人工检查的原始方法来发现异常值,但如果数据量较大、变量较多的情况,使用这种方法费时费力,效率相对较低。……