面向推荐系统的分期序列自注意力网络

鲍维克，袁春

（1. 清华大学 计算机科学与技术系，北京 100084; 2. 清华大学 深圳国际研究生院，广东 深圳 518000）

随着互联网的普及，互联网应用的用户数量空前增长，阿里巴巴集团公布截至2019年12月31日的季度业绩显示[1]，其中国零售市场移动月活跃用户达8.24亿，创12个季度以来新高。诸多互联网公司在庞大的用户数据之上采用智能推荐算法提高产品的可用性和用户体验。然而经典的推荐算法往往存在一些问题：1)对于用户反馈(user-item interactions)数据表现出的相互依赖和序列性分析不足；2)对反馈数据和上下文的动态性应对不足；3)模型往往固定表达了用户的长期/一般偏好，而非基于反馈数据对长期/一般偏好进行表达。

为此，本文提出了一种面向推荐系统的分期序列自注意力网络(long-term & short-term sequential self-attention network，LSSSAN)。“分期”表示将用户的反馈数据分为长期和短期，用户的长期反馈数据反映了用户的长期/一般偏好，用户的短期反馈数据反映了用户的短期偏好和序列性偏好；注意力(attention)机制，可以为不同的数据赋予不同的权重，帮助模型动态捕捉数据中重要的信息，自注意力(self-attention)机制在此基础上，可以有效地捕捉长序列数据之间的相互依赖。本模型中，自注意力机制从用户长期反馈数据提取用户的长期/一般偏好，GRU(gate recurrent unit)从用户短期反馈数据的提取用户的序列性偏好，最后由以上所得综合用户短期反馈数据表现出的短期偏好参与注意力机制，得到了用户的综合偏好。总体来讲，本文模型的亮点如下：

1)采用注意力机制为不同的反馈数据赋予不同的权重以动态捕捉重点信息，同时也考虑了不同用户和不同item候选集对推荐结果的动态影响；……