基于分布式计算框架的大数据机器学习

张维　王玥　罗珅

摘要：在大数据的时代里，实现高效的大数据的机器学习系统，需要开发人员要搭建一个计算机机器学习系统，并且该系统能够同时完成机器学习和大规模数据处理的任务。现有的训练数据集重复使用，场景信息较少，已经不能满足大规模机器训练的需要，所以需要包含大规模数据、分布式的计算机系统完成训练。本文介绍了现有大数据机器学习基本概念和一种称为Spark的大数据分布式计算方法。

关键词：机器学习；大数据；分布计算模型

中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2018）09-0027-02

1 背景

近年来，随着大数据的兴起，推动了大数据在机器学习领域的运用和迅猛发展，基于大数据的机器学习能够更有效更精准的完成机器训练，基于大数据的机器学习系统已经成为计算机研究开发领域的一个热点研究问题。机器学习和大数据分析是运用现有的计算机系统模型，将计算机获取到的大量的数据或称大数据转换成有用信息的技术。运用的数据规模越大，机器学习训练效果越好，精度更准，识别内容更多，减少过拟合和欠拟合现象的发生[1-3]。

大数据机器学习既不是单纯的机器学习，也不是简单的大数据处理的问题，而同时涉及机器学习和大数据处理两个方面的技术难题的攻克与融合的运用[4]。这个过程中，研究人员不仅需要继续关注机器学习的函数方法和算法，而且还需要继续研究新的、高效的算法或改进的现有的不完善的机器学习方法，保证能够提升在实际运行中的结果的准确性。……