大数据下基于Spark的电商实时推荐系统的设计与实现

岑凯伦，于红岩，杨腾霄

（1.上海海事大学信息工程学院，上海201306；2.上海海事大学交通运输学院，上海　201306；3.上海纽盾科技有限公司研发部，上海　200092）

大数据下基于Spark的电商实时推荐系统的设计与实现

岑凯伦1，于红岩2，杨腾霄3

（1.上海海事大学信息工程学院，上海201306；2.上海海事大学交通运输学院，上海201306；3.上海纽盾科技有限公司研发部，上海200092）

0　引言

随着互联网规模的迅速增长，导致用户在面对海量的互联网信息时，无法从中获取自己真正感兴趣的信息，产生“信息超载”问题。个性化推荐在此问题上弥补了搜索引擎的不足，即代替用户评估其所有未看过的产品，并通过分析用户的兴趣爱好和历史行为，主动推荐符合用户喜好的项目。目前个性化推荐系统已在电子商务、电影、音乐网站等领域取得了显著的成功。

根据IDC发布的数字宇宙报告显示，至2020年数字宇宙将超出预期，达到40ZB，相当于地球上人均产生5247GB的数据［1］。面对未来如此巨大规模的数据量，传统单机环境下的推荐系统存在着两大问题：一是单机节点的推荐模型训练由于单机硬件条件的限制，无法存储所有需要运算的数据量；二是由于训练数据集规模的增大，单机节点进行训练的时长不断增长。传统单机环境下的推荐系统无法满足大数据时间推荐的需求，Hadoop［2］平台能够处理高达上TB级别的海量数据。目前有大量的学者对单机的机器学习算法使用Hadoop平台编写进行扩展以实现对大规模数据集的处理。江小平［3］等基于MapReduce编程模型对朴素贝叶斯文本分类算法进行并行化扩展。……