一种混合推荐算法的Mahout实现

唐科

摘  要：推荐算法作为推荐引擎实现的核心而得到广泛研究。在各类推荐算法中，大部分对于用户行为特征属性、用户人口属性、物品特征属性，以及用户—物品关联特征属性等参数的应用方式存在局限性。它们一般采用相似度计算、或模型计算等方法，其特征提取及参数的调优依赖于事前定义，存在参数优化效率低的问题。本文结合机器学习技术，提出一种混合推荐算法，即（MMLHC算法），以多层神经网络作为参数优化计算的模型，应用Mahout库实现算法，实验结果显示算法能有效去除原始输入数据的噪声、奇异点，在模型的各层之间优化权重参数与偏差，输出数据去噪平滑，正常拟合。相似度与精确度的计算指标良好。

关键词：推荐算法;机器学习;多层神经网络;隐藏层;可视层

Abstract： Recommendation algorithms are widely studied as the core of recommendation engine implementation， but most types of the current recommendation algorithms have limitations on the application of user behavior characteristic attribute， user population attribute， item characteristic attribute and user-item relation characteristic attribute. They generally use similarity-based calculation， or model-based calculation methods， and their feature extraction and parameter tuning depends on prior definition， with low effectiveness of parameter optimization. This paper proposes a hybrid recommendation algorithm of Multilayer Machine Learning Hybrid Compute （MMLHC）. Multi-layer neural networks are considered as model of parameter optimization calculation and Apache Mahout implements the algorithms. The experimental results show that the algorithm can effectively remove the noise and singular points of the original input data， optimize the weight parameters and deviations between the layers of the model， and smooth the output data denoising and normal fitting. The index of similarity and accuracy is improved.

Keywords： recommendation algorithm; machine learning; multi-layer neural network; hidden layer; visual layer

1   引言（Introduction）

圍绕互联网及其应用的各类信息技术持续地迅猛发展，各类电子商务交易系统平台、网络学习平台、音乐社交网络应用、新闻网站、视频网站等层出不穷，这些应用往往通过建立推荐引擎来为用户提供令其满意的个性化优质服务，而推荐引擎的核心就是推荐算法的设计实现。目前大多数的推荐算法是基于内容的推荐算法，基于协同过滤的推荐算法，基于关联规则知识的推荐算法等。在这些算法中，完成推荐的方式各不相同。有的是通过向量化特征计算相似度，有的是通过建立用户—物品矩阵并分解矩阵，计算得出物品的特征向量，还有的是通过挖掘关联规则，由频繁项集生成强关联规则，并计算其置信度。……