面向健康大数据的数据清洗技术

陈永红，廖欣，郑欣，陈雷霆,4

（1.电子科技大学计算机科学与工程学院，成都 611731；2.东莞成电金盘软件技术有限公司，东莞 523808；3.四川大学华西妇产儿童医院，成都 611731；4.电子科技大学广东电子信息工程研究院，东莞 523808）

面向健康大数据的数据清洗技术

陈永红1,2，廖欣3，郑欣1，陈雷霆1,4

（1.电子科技大学计算机科学与工程学院，成都 611731；2.东莞成电金盘软件技术有限公司，东莞 523808；3.四川大学华西妇产儿童医院，成都 611731；4.电子科技大学广东电子信息工程研究院，东莞 523808）

提出一套完整的健康大数据清洗方案。首先剔除原始数据集中的重复数据，然后，对数据集进行完整性、有效性及一致性验证，最后，使用基于密度的改进孤立点检测算法剔除局部孤立点及全局孤立点。为验证所提方案的有效性，使用Tri-training算法在健康大数据集上进相关实验。实验表明，所提数据清洗方案能够同时识别局部孤立点和全局孤立点，从而显著提高后续数据分类模型的性能。

基于健康大数据的关键共性技术研究的企业科技特派员工作站建设（No.2014A090906004）

0 引言

随着大数据时代的到来，海量数据的不断剧增给医疗健康领域带来了深刻变革[1]。医疗健康行业可通过大数据技术的支持，实现对现有资源的整合和重新调整，提高行业运行效率，挖掘产业巨大潜力[2]。然而现有的数据清洗技术方案对健康大数据适应性较差，严重影响了数据挖掘的效率，因此，针对健康大数据的清洗已经成为数据分析过程中必须面对的问题[3]。……