电商平台个性化推荐系统的设计与实现

尚梦莹 白宗 侯珂

（郑州工业应用技术学院 河南省新郑市 451100）

1 个性化推荐系统设计的关键技术

本研究提出的个性化推荐系统设计基于搭建大数据平台所需的Hadoop相关技术组件。Hadoopr分布式结构可以实现多台服务器同步工作，存储同步，能够满足超大量数据分析的需求，它的出现实现了大规模的廉价分布式集群，因此近年来Hadoop逐渐成为最受欢迎的开源分布式框架。Hadoop组件类型包括：HDFS，其具有分布式存储功能，是处于Hadoop最底层的系统根基，主要通过分块化处理实现分布式的单个大文件的存储，并具备多重备份的功能，最大程度上保证了原始文件的安全性。Hive，具有分布式结构化数据存储功能，其配置相对简单，传统结构化SQL数据大部分操作该组件也都支持，采用元数据即可，Hive组件主要通过HiveSQL语句关联对应文件，无需真正存储数据，再用特定方式读取HDFS中的文件，其可在多个分布式节点中并行查询数据，无需开发额外的代码。Kafka，支持超高的吞吐量，是Hadoop平台中的消息传递组件，在个性化推荐系统中主要通过该组件实现用户购买、浏览等多种操作消息流的接收，通过日志分发、聚合等功能实现高并发海量消息流的处理，保证系统能够及时处理所有数据信息；Kafka中包含队列模式、发布与订阅模式两种，本研究中采用一个消息由一个人发出且只有一个人接收的队列模式。Spark，是Hadoop中基于内存计算的大型内存分布式计算组件，其与MapReduce的思想一脉相承，但二者的区别在于后者需要多次读写硬盘，处理速度存在限制，而Spark在内存中进行全部的迭代运算，Spark的运算函数分别对不同的模块进行运算，每个部分大小可灵活调整，且数据可容错，大大提高了处理效率。……