一种基于Hadoop云计算平台大数据聚类算法设计*1

司福明，卜天然

(安徽机电职业技术学院 信息工程系，安徽 芜湖 241000)



一种基于Hadoop云计算平台大数据聚类算法设计*1

司福明，卜天然

(安徽机电职业技术学院 信息工程系，安徽 芜湖 241000)

摘要:为了提高聚类的准确度，对传统聚类挖掘算法进行分析、改进和优化，在云计算Hadoop平台上进行DBIK-means算法的并行化，降低了算法的时间复杂度，提高了计算效率.通过实验验证，结果表明DBIK-means算法具有高效、准确、稳定、安全等特性，适合大规模数据集的聚类挖掘.

关键词:Hadoop；云计算平台；大数据；聚类挖掘算法；并行化

大数据技术、物联网、云计算是当今IT产业具有颠覆性的技术革命.大数据时代的到来对人们的生活方式、商业模式上都产生了重要影响.大数据的提出，给信息技术产业带来了新的发展机遇，尤其对数据挖掘技术影响更为明显[1].数据挖掘技术已经进入一个新的发展阶段，要提高大数据的准确性，大数据的挖掘算法对大数据处理结果误差率必须在可接受的范围内，这就需要对传统数据挖掘算法进行改进.文章以提高大数据挖掘效率和准确度为目标，将面向大数据的聚类挖掘算法准确度和效率作为研究重点，对传统的聚类算法进行了必要的改进并利用云计算平台将改进后的聚类挖掘算法进行并行化实验.改进型的聚类算法具有较好的理论和实用价值，可在大数据集的应用平台进行广泛推广和应用.

1关键技术概述

1.1基于Hadoop的云计算平台

(1) 云计算技术……