基于依赖最大化和稀疏回归的多标签特征选择

吴喆君，黄 睿

(上海大学 通信与信息工程学院，上海 200444)

0 引 言

“维数灾难”是多标签学习面临的挑战之一[1-7]。通过特征选择对高维数据进行维数约简是克服该问题的有效手段[8-10]。基于稀疏回归的多标签特征选择算法利用优化得到的回归矩阵进行特征选择[11-14]。Ma等提出利用稀疏性来构建子空间(sub-feature uncovering with sparsity，SFUS)的多标签特征选择算法[12]，通过联合稀疏特征选择与多标签学习来获得特征的共享子空间。文献[13]提出非负稀疏表示的多标签特征选择方法(multi-label feature selection based non-negative sparse representation，MNMFS)，融合了非负约束问题和l2,1范数最小优化问题。Zhang等提出一种基于流形正则化的多标签特征选择方法(manifold regularized discriminative feature selection for multi-label lear-ning，MDFS)[14]，将数据空间和标签空间的流形正则化引入稀疏回归模型。

当前，多数基于稀疏回归的多标签特征选择算法认为数据的特征空间和标签空间之间存在线性关系，在回归模型中直接将数据从特征空间映射到标签空间。然而大部分情况下两者之间的线性关系并不成立。文献[15]通过依赖最大化对多标签数据进行特征提取。受此启发，本文提出一种基于依赖最大化和稀疏回归的多标签特征选择算法(multi-label feature selection with dependence maximization and sparse regression，DMSR)。该方法通过最大化投影子空间与标签空间之间的依赖性来构建数据的低维空间，利用希尔伯特-施密特独立性准则[15]来衡量两者之间的依赖性，然后把该低维空间引入稀疏回归模型中，将数据从特征空间映射到低维空间。相比于呈现稀疏性、二值性的标签空间，该低维空间包含了更丰富的信息。结合l2,1正则化得到目标函数，利用交替优化的方式进行求解，得到用于特征选择的回归系数矩阵。……