史加荣, 白姗姗
(西安建筑科技大学 理学院, 西安710055)
非负矩阵分解(non-negative matrix factorization, NMF)是寻找非负的基矩阵和系数矩阵, 即将非负数据表示为非负基下的非负线性组合, 以实现维数约简和特征提取[1]. 实际应用中很多物理特性都是非负的, 非负约束使模型具有较强的可解释性[2]. 近年来, NMF受到广泛关注, 已被成功应用到数据挖掘[3]、 计算机视觉[4-5]和模式识别[6]等领域. 乘性更新(multiplicative update, MU)[7]是求解NMF的一种有效方法, 可保证其解收敛于一个平稳点. 但MU计算复杂度较高, 故不适用于求解大规模矩阵分解问题. 随着数据规模的不断扩大, 随机梯度下降(stochastic gradient descent, SGD)算法[8]已成为机器学习, 特别是深度学习研究的热点[9-10], 其具有参数更新过程简单、 收敛速度快且计算复杂度低等特点. 因此, 将SGD算法与MU规则相结合是求解NMF的一种有效方法.
Kasai[11]将SGD算法应用到NMF的求解中, 提出了随机乘性更新(stochastic multiplicative update, SMU)和随机方差缩减乘性更新(stochastic variance reduced multiplicative update, SVRMU)规则, 分别将SGD算法和随机方差缩减梯度(stochastic variance reduction gradient, SVRG)[12]算法与乘性更新规则相结合, 对梯度估计量进行更新; 之后,Kasai[13]又提出了随机平均梯度乘性更新(stochastic average gradient multiplicative update, SAGMU)规则. 虽然这些算法取得了较好的效果, 但都未考虑偏差与方差之间的不平衡性差异, 即未对梯度估计量进行校正, 导致迭代效率较低. 文献[14]提出了一种性能优于SVRG的算法: 随机方差调整梯度(stochastic variance adjusted gradient, SVAG)算法. 该算法在迭代过程中引入参数对梯度估计量进行不断调整, 使偏差与方差达到平衡. 基于此, 本文提出一种将SVAG算法和MU规则相结合的随机乘性更新算法: 随机方……