L1-L1/2非负矩阵分解及算法

刘 丹，罗申星

（河北工业大学 理学院，天津 300401）

0 引 言

非负矩阵分解（NMF）[1]是一种有效的降维技术，它将非负矩阵V∈R+m×n近似分解成低秩非负矩阵W∈Rm×r和H∈Rr×n++的乘积，即

其中r＜＜min{m,n}.NMF具有存储空间小、实现简单等优点，并已成功应用于信号处理[2]、医学[3]、计算机视觉[4]和聚类[5]等.

为了得到矩阵W和H，人们通常用Frobenius范数度量V与WH的距离

其中W≥0和H≥0表示W和H的元素是非负的.

由于稀疏性便于数据的分析以及图像的特征提取，Hoyer等[6]考虑稀疏NMF，在问题（1）中引入L1正则项，提出L1-NMF模型

其中λ﹥0，，i=1，2…r，j=1，2…n.因为H≥0，所以.

Xu等[7]发现与L1正则项相比，引入L1/2正则项能得到更稀疏的解.进一步，Cui等[8]在问题（1）中引入L1/2正则项，得到L1/2-NMF模型

为了得到更稀疏的系数矩阵H，本文在模型（1）中引入L1和L1/2正则项，提出L1-L1/2-NMF模型，这样可以同时保留这两个正则项带来的稀疏性效果，即

其中参数λ﹥0，β﹥0.我们提出两种算法求解L1-L1/2-NMF：（1）梯度下降算法；（2）受文献[9]的启发，基于交替非负最小二乘算法框架[10]，提出块坐标下降算法.数值实验中，测试了ORL、CBCL、YALE和Extended-YALE 4个人脸数据集.实验结果表明，与其他稀疏NMF模型相比，求解L1-L1/2-NMF得到的矩阵更稀疏，相对误差更小.

本文将详细介绍求解问题L1-L1/2-NMF的梯度下降算法和块坐标下降算法.同时给出相应的数值实验结果，并对结果进行分析.

1 稀疏非负矩阵分解算法

1.1 梯度下降算法

下面给出GDSNMF算法的推导过程.我们对问题（4）中H的列H:j求导，求导公式为

表1给出了GDSNMF算法的详细框架.

表1 GDSNMF算法的详细框架

1.2 块坐标下降算法

基于交替非负最小二乘算法框架，提出一种块坐标下降算法（CDSNMF）求解L1-L1/2-NMF.算……