基于大数据云平台的深度学习预测模型研究

陈亮亮 邵雄凯 高榕

摘 要：近年来，随着云计算、大数据等技术的迅猛发展，如何快速、有效地从纷繁复杂的数据中获取有价值的信息成为当前大数据应用的关键问题。为此，对基于大数据云平台的深度学习预测模型进行研究，以对未来序列数据走势进行有效预测。首先对几种基于深度学习的长短序列预测模型进行对比分析，分析其与传统预测模型的区别及优势，提出一种加入dropout的轻量级GRU预测模型。采用代表性天气数据作为实验对象，实验结果表明，该方法的实验预测指标MAE（平均绝对误差）的平均值相比传统预测方法有所提高，从而有效验证了轻量级GRU预测方法的正确性与有效性。

关键词：大数据;云平台;深度学习;预测模型;数据仓库

DOI：10. 11907/rjdk. 191883 开放科学（资源服务）标识码（OSID）：

中图分類号：TP306文献标识码：A 文章编号：1672-7800（2020）005-0042-06

0 引言

随着大数据时代的到来，如何处理海量数据对于如今的数据处理技术提出了更高要求，因此大数据管理平台、数据仓库技术以及BI（Business Intelligence）工具等应运而生。其中，etl（抽取，转换，加载）是BI和数据仓库的核心与灵魂，能够按照统一规则集成并提高数据价值。这些数据管理工具可为商务决策分析提供支持，使人们从海量数据中挖掘出所需的信息。但由于数据体量庞大，容器技术又为云计算的发展开辟了新的道路，使系统资源的利用效率越来越高。传统大数据分析模块能对平台数据作基本的挖掘与分析，但数据中通常还包含一些深层次信息，因此需要对数据作更深入的处理。……