基于Hadoop 的电影用户行为预测系统设计

冯 辉，陈 磊，孙妍姑

（淮南师范学院 计算机学院，安徽 淮南 232038）

1 引 言

据权威部门统计，截止2018 年7 月底，我国互联网用户规模已达8.02 亿， 其中视屏用户规模达6.09 亿［1］。电影服务类网站随着用户数量的急剧增加，产生了海量的电影用户评价数据，这些数据为我们分析用户行为提供了有效支持。然而，一方面，基于海量电影用户评价数据（以下简称海量评价数据）的用户行为模型（User Behavior model，UBM）构建具有挑战性，另一方面，采用传统单机串行数据处理系统处理海量用户评价数据显得相形见绌，使用户行为计算、预测变得比较困难。

贝叶斯网络（Bayesian Network，BN）是有向无环图（Directed Acyclic Graph，DAG）的一种，用条件概率表（Conditional Probability Table，CPT）描述网络中各节点依赖关系值，是一种帮助人们在不同应用场景下分析模型各属性间依赖关系的有效工具，它将概率统计引入，能够进行各属性间不确定性推理［2］（P9-12），在不同领域都有着广泛应用。 如图1 所示。采用贝叶斯网络能够较好的反映出电影用户行为的不确定性，为系统实现提供了技术支持。

图1 贝叶斯网络

面对海量评价数据，传统单机串行数据处理系统已经不能满足人们对数据处理实时性及高效性的要求。Hadoop 是一个分布式海量数据处理平台，以Hadoop 分布式文件系统 （Hadoop Distributed File System，HDFS）和离线计算框架MapReduce 为核心，主要有高可靠性、高拓展性、高效性、高容错性等优点［3］（P48-50）。 用户可以根据不同的应用场景，编写符合自身业务需求的MapReduce 程序， 实现海量数据实时、高效处理的功能。Hadoop 的出现为分析海量评价数据、构建UBM 以及对用户行为预测提供可能。……