基于深度学习的Spark 电影推荐系统设计

关凯轩 禹素萍

（东华大学信息科学与技术学院，上海 201620）

随着互联网的快速发展，各行各业的信息资讯正在呈爆炸式增长的态势。在信息过载[1]的时代，如何快速在海量信息中找到自己感兴趣的信息成为当务之急，推荐系统在这样的时代背景下应运而生。

推荐算法经历了从传统的协同过滤[2]，因子分解机到深度学习算法大行其道的发展过程，尤其是2015 年之后，随着Wide&Deep[3]，FNN[4]等一大批深度推荐模型的提出，深度学习模型成为了推荐系统的主流，推荐效果越来越好。同时，海量数据的处理需求也催生了大数据平台工具的进化，大数据存储，传输，计算等组件发展日趋成熟。

深度学习模型的表达能力强，与传统模型相比能够进行特征间的深度交叉，从而挖掘出特征间更多的潜藏信息，网络结构也可以随着业务不同而改变，十分灵活。而Spark，Flink 等大数据计算框架擅长从后端数据库，日志系统等数据中提取中模型训练所需的样本数据，为深度模型提供材料。

本文主要在现有推荐算法的基础之上，结合大数据处理工具对推荐系统进行设计。通过TensorFlow平台实现DIN[5]深度学习模型的端到端训练与部署；通过HDFS，Spark，Kafka 等大数据技术保证海量用户物品数据，模型数据存储的稳定，计算的实时高效。二者的结合保证了推荐系统的运行的稳定和推荐的良好效果。

1 系统设计

1.1 系统架构

系统采用模块化结构设计。各模块之间相互分离，耦合程度低，从而方便后续的维护与拓展。……