基于深度学习建模多行为动态演化的转化率预估

孙晓燕, 聂 鑫, 暴 琳, 陈 杨

(中国矿业大学信息与控制工程学院, 江苏 徐州 221008)

在计算广告和移动APP推荐等领域,广告产品的转化率预估对于主广告产品投放、广告平台收益和广告推广有效性衡量等有着重要作用[1]．基于用户对广告实施的交互行为, 获取其兴趣特征并用于转化率预估可有效提高预估的精度．近年来,关于用户兴趣特征提取的研究成果颇丰, 在个性化推荐领域,如基于因子分解机(factorized machine, FM)[2]以及域感知因子分解机(field-aware FM, FFM)[3]的用户点击、浏览、安装等交互行为的低阶和高阶的兴趣特征．目前, 基于各种深度学习的自动兴趣特征及其交互关系的提取策略成为研究热点, 如并行神经网络[4]、深度宽度模型Wide & deep[5]、深度交叉模型Deep & cross[6]以及混合模型[7]等．然而, 上述工作均未考虑用户行为的时序相关性和兴趣的持续性等, 故面向用户行为序列提取用户兴趣特征的策略进一步被提出, 如阿里巴巴研究团队提出了深度兴趣网络(deep interest network, DIN)[8]和深度兴趣进化网络(deep interest evolution network, DIEN)[9]模型, 通过分析某时段用户的行为序列及其点击购买的物品对象,提取用户对物品的兴趣特征, 引入注意力机制[10]获取用户与目标物品间的兴趣关系,构建兴趣模型并用于个性化推荐,从而提高推荐的准确率．但该算法未考虑用户多个不同行为序列间的关系以及该行为序列对用户兴趣模型的影响,且未用于解决转化率预估问题．本文考虑用户多行为序列所隐含的用户兴趣特征的提取,采用深度递归神经网络模型和自注意力机制[11-12],获取用户隐含在多行为序列中的兴趣特征,并将其用于转化率预估模型的构建,以期提高预估精度．

1 基于融合注意力机制GRU用户兴趣建模的转化率预估

本文考虑用户的行为序列是由具有时序关系的点击或下载的项目组成,首先对其进行嵌入编码,作为特征提取模型的输入;然后构建时序数据特征提取模型,获取用户单行为序列的兴趣特征, 并通过引入注意力机制融合行为序列中的项目和用户兴趣特征, 获得用户兴趣的动态演化表示;进一步地,采用自注意力机制集成用户的各行为序列特征,获取多行为序列的兴趣特征;最后基于上述兴趣特征,与广告属性、用户属性和上下文特征等特征拼接表示,作为转化率预估的输入,构建基于多层前馈网络的广告转化率预估模型．综上, 本文算法主要包括基于注意力机制的用户单行为序列的兴趣特征提取建模、基于自注意力机制的用户多行为序列兴趣特征提取以及基于多行为序列特征的转化率预估,算法流程如图1所示．

1.1 基于GRU的用户单行为兴趣提取

门控递归单元网络(gated recurrent unit, GRU)[13-14]是对长短期记忆网络的改进, 模型更简单, 训练算法更有效, 故本文采用GRU网络模型获取用户单行为序列所隐含的兴趣特征．

设t时刻用户行为序列为bt, 将其作为GRU网络的输入, 用户在该时刻的兴趣特征记为ht,则该特征不仅与当前输入有关, 而且受上一时刻行为特征的影响, 故有ht=f(bt,ht-1), 与GRU工作原理一致. 于是可以获得t时刻下用户行为序列的状态:

(1)

为了精准获取兴趣特征,采用融合目标损失函数和辅助损失函数的方法训练GRU网络．设用户在t+1时刻的真实行为为b(t+1), GRU输出单元的预测行为为b′(t+1), 则目标损失函数Ltarget和辅助损失函数Laux分别为

(2)

(3)

其中N为用户在t+1时刻的行为序列长度．于是本文训练模型的损失函数

L=Ltarget+βLaux,

(4)

其中β∈[0,1]是用于平衡用户兴趣和广告转化率的关系系数．

1.2 融合注意力机制的用户兴趣特征演化跟踪

用户行为会随兴趣发生变化,故行为序列提取的兴趣特征具有演化特性．为了跟踪该特性,精准构建基于用户兴趣的转化率预估模型, 笔者在GRU模块中融入反映用户交互对象和兴趣特征相关性的注意力机制．在式(1)基础上,考虑转化广告特征ea和用户行为隐含兴趣特征的关联关系,在更新门模块加入注意力模块．广告特征与兴趣特征越相关,则注意力分数越高．计算注意力分数

(5)

其中权值W∈RnH×nA，nA为广告嵌入向量维数, 该权值为广告属性嵌入表示ea与兴趣特征间的连接权值, 其值可随机初始化后在GRU训练过程中基于式(4)损失函数进行训练获得．

此时, GRU隐层状态的输出[15]为

(6)

1.3 基于自注意力机制和用户多行为的转化率预估

设含注意力机制的GRU提取的用户第i种行为的动态兴趣特征集合为Xi={h′t1,h′t2,…,h′ti}, 由于用户的多种行为之间存在着相互影响,且用户的浏览、点击、下载、安装或评论等行为对于最后转化率预估的重要性程度不同,故须依据其与当前广告的相似度进行重要性度量,然后集成各行为的兴趣特征,作为转化率预估的输入内容之一．鉴于此,笔者在多行为兴趣特征的融合中引入自注意力机制[10]．首先,将用户的所有行为序列兴趣特征作为自注意力机制的输入,构成键值向量矩阵K,V(K=V), 然后将当前广告嵌入表达向量Xi={h′t1,h′t2,…,h′ti}作为查询对象Q, 采用文献[10]算法中的点积运算, 计算K和Q的相似度矩阵,对其进行不同的线性变化,得到查询向量变换序列WQ、键向量序列WK和值向量序列WV; 然后, 分别对查询对象Q以及键值向量矩阵K,V进行线性变换,获得经相似度加权后的Q,K和V; 最后,计算融合后的多行为兴趣特征

(7)

其中向量dk是键值矩阵K的特征值向量,用于调节内积大小,使之不至于过大．

将得到的用户多行为向量特征表示H作为用户的行为特征,与用户的基础属性数据、广告的特征和上下文的特征表示进行拼接,输入至多层神经网络中,对最终用户的下载转化行为进行预估．

2 移动APP广告转化率预估分析

2.1 实验背景

本文移动APP广告转化率预估模型使用的特征主要包含用户配置信息、用户行为信息、广告和上下文的相关信息．上述4类特征都分别包含多个基础特征,如用户配置信息包含用户的性别、年龄、职业、受教育情况、婚恋状态、育儿状态和常住地等信息; 用户行为信息包含用户的点击行为序列信息和用户的下载安装APP的序列信息; 广告特征包含推广计划ID、APP类别和素材ID等信息;上下文特征包含广告位ID、广告类型、联网方式和运营商等信息．在实验数据中,第17天至第29天的训练样本有34 548 872个, 第30天的测试数据有3 364 044个, 用户的APP安装记录有575 832 463个．为了本文实验的顺利进行,挑选出用户的历史行为序列长度为不小于3的数据集,最终实验中使用的训练数据为22万个,测试数据为6万个．

2.2 单行为序列建模的转化率预估

本文提出的模型可以对多个行为序列的特征进行提取,但是鉴于所采集数据集的局限性,现仅在用户的点击行为序列和下载行为序列上进行实验．比较算法所得转化率预估模型的测试精度、曲线下面积(area under curve, AUC)和损失函数等3项性能指标,其中测试精度和AUC值越大越好,损失函数值越小越好．表1给出了考虑用户单行为序列特征提取情况下得到的转化率预估结果．由表1可知,仅考虑用户点击行为序列特征的情况下,模型的预测精度达73.6%;仅考虑用户下载行为序列的情况下,模型的预测精度达72.9%．在单行为模型预测中,考虑用户点击行为比用户下载行为时的精度高0.7%,这是由于用户的点击行为数据更多,相较于采集到的用户下载行为,点击行为数据包含了更丰富的用户行为信息．

表1 单用户行为特征下的转化率预估

2.3 用户多行为融合的转化率预估

为了验证本文基于自注意力机制的多行为兴趣特征融合对于转化率预估的有效性,现与用户行为兴趣特征加权平均融合和直接向量拼接融合2种策略进行对比,结果如下: 1) 基于加权平均融合兴趣特征的转化率预估精度为74.5%, 其单独行为模式的转化率预估精度分别为73.6%和72.9%,显然,进行多行为兴趣特征融合优于单行为特征模式; 2) 对用户所有行为序列兴趣特征进行拼接的转化率预估精度为74.1%,略低于加权平均融合策略,原因在于该方法直接扩展了特征维度,但未对相似特征进行集成,可能导致冗余特征而不利于后续的转化率预估; 3) 本文算法的转化率预估精度为75.1%,高于其他2种方法,说明基于自注意力机制的融合能够更精准获得兴趣特征,进而提高转化率预估精度．上述结果表明考虑用户多行为序列隐含的兴趣特征及其演化特性,通过自注意力机制对各行为特征进行融合,有利于提高转化率预估精度．

2.4 用户行为序列引导的转化率预估的有效性

为了进一步说明本文算法的有效性,现与无行为序列兴趣特征的算法进行对比,考虑如下5种情况:

1) BaseModel: 仅利用用户的基础属性数据、广告的特征及上下文的特征表示进行拼接,作为多层神经网络的输入,其嵌入操作和多层神经网络的参数设置与本文模型相同;

2) Wide & Deep[5]: Wide & Deep模型深度部分与基础模型的设置相同, 其Wide部分为线性模型;

3) DIN[8]: 利用注意力机制激活相关的行为来获取用户对于不同广告的兴趣的自适应表达;

4) 两层 GRU Attention: 采用本文所提双层GRU和注意力机制提取用户单行为序列的兴趣特征, 并作为转化率预估的输入部分;

5) DIEN[9]: 阿里巴巴团队在2018年提出的利用注意力机制和GRU捕捉用户单行为序列信息的模型．

为了保证实验结果的可靠性,每组实验分别进行5次,在测试集上取平均值得到如表2所示的转化率预估结果．

由表2可知, 本文算法所得转化率预估模型的预测精度、AUC及损失函数均优于其他算法,特别是明显优于不加任何用户行为兴趣特征的传统转化率预估模型．与当前得到广泛认可的DIEN算法比较, 本文算法由于考虑了多行为特征序列的兴趣特征融合, 故测试精度有1.1%的提升．综上所述,本文所提融合注意力机制的用户多行为兴趣特征提取和基于该特征的转化率预估策略可有效提高预估精度,该方法是可行且有效的．

表2 转化率预估对比结果

3 结论

本文提出了基于注意力机制的门控循环神经网络的模型,并对广告转化率预估问题中用户的行为序列信息进行建模;在特征提取时引入目标广告的信息,通过注意力模型对用户的多行为序列隐含的兴趣特征进行有效融合,获取用户行为间的相互影响,进而提取出更准确的用户行为特征．实验结果验证了本文算法对转化率预估的有效性．