基于注意力机制的深度学习推荐研究进展*

陈海涵，吴国栋，李景霞,王静雅，陶 鸿

(安徽农业大学信息与计算机学院，安徽 合肥 230036)

1 引言

当前，深度学习在计算机视觉、自然语言处理和语音识别等领域得到了广泛的应用，许多学者也将其用于推荐系统研究。针对传统协同过滤算法中存在的数据稀疏性和冷启动问题，深度学习具有良好的对数据集本质特征进行学习的能力，一定程度上克服了推荐过程中的数据稀疏问题。但是，深度学习具有黑盒特性，很难对推荐系统的最终决策做出解释，而没有解释性的推荐是缺乏说服力的，会对提升用户的信任度带来负面影响。因此，如何在提高推荐性能的前提下，提升深度学习推荐系统的可解释性和透明度受到了工业界与学术界的广泛关注。

注意力机制通过对关注事物的不同部分赋予不同的权重，从而降低其它无关部分的作用。从注意力机制可解释性的角度看，它允许直接检查深度学习体系的内部工作，通过可视化输入与对应输出的注意权重，达到增强深度模型可解释性的效果[1]。在推荐算法中融入注意力机制，对每个潜在因素或特征的重要性进行区分，在提升推荐性能的同时，也提高了推荐系统内部的可解释性。本文主要分析了基于注意力机制的深度神经网络DNN(Deep Neural Network)、卷积神经网络CNN(Convolutional Neural Network)、循环神经网络RNN(Recurrent Neural Network)和图神经网络GNN(Graph Neural Network)等几种深度学习推荐的研究进展，指出了各自的优点与不足，并指出了相关研究难点与未来主要研究方向。……