一种适应大数据处理要求的深层学习模型

徐承俊 朱国宾

(武汉大学遥感信息工程学院 湖北 武汉 430079)

0 引 言

大数据在带来丰富信息和宝贵资源的同时，也给处理数据、分析数据等工作带来了巨大的压力和严峻的挑战。如何高效开发和利用大数据，挖掘其背后隐藏的有价值的信息，利用大数据更好地把握和预测未来各领域发展趋势，更好地为人类服务，是数据挖掘和机器学习领域的核心问题之一。深度学习是目前应用最广泛的学习方法和框架之一，其模型框架使用监督/非监督学习，已成功应用于新型数据驱动态势感知[1]、基于大数据医疗保健治疗[2]、信息服务[3]和工业大数据应用[4]等领域。小米、阿里巴巴和新浪等IT巨头都已经加大对大数据的投入、采集、分析和研发，推出各种个性化服务，如：阿里基于大数据深度学习框架为用户推荐爆款商品、道路路况拥堵、新闻推送等[5]；百度也推出了地图匹配和搜索、联想输入等；微软的语音同步翻译与IBM人工智能也都使用了深度学习框架[6]。虽然深度学习在上述领域已表现出巨大优势，也取得了很好进展，但仍旧存在不足，主要表现为以下几个方面：

(1) 数据信息缺失等不完整性。大数据中含噪声数据，如属性、参数缺失等。目前模型针对标准数据集，而面对实时数据时稍显不足。

(2) 大数据的海量性。模型训练中数据量大、类型多，数据结构复杂度高，普遍采用云存储、云计算，但会导致数据安全等问题。

(3) 数据的动态性。目前使用的深度学习框架基本是静态模型，执行过程中不能更改，故无法满足实时动态变化需求。……