张量稀疏性度量综述

谢 琦，张 勇，孟德宇

(1.西安交通大学 数学与统计学院，西安 710049；2.西安交通大学 第一附属医院，西安 710049)

0 引 言

从通常意义上理解，先验是一个与经验相对的概念。它先于经验，却对经验的形成有着很大的影响，甚至有时它是经验形成不可或缺的部分。在机器学习问题中，如果观测数据中能提供的经验信息不是非常充分，或是观测数据中蕴含的经验信息难以利用时，先验知识的指导作用将变得尤为关键。从数学上看，先验知识的作用可以通过模型中的正则函数体现。当损失函数对应的模型是欠定问题或近似欠定问题时，它可以引导模型筛选得到合理的解。举如下的数据恢复模型为例

(1)

稀疏性是一种很多现实数据都共有的一般化属性，因此，它作为一种常见的数据先验在大量应用问题中得到了广泛的关注。

简单来说，稀疏性是指现实数据可被少数基元素进行充分表达的特性。很多类型的应用数据本身就具有稀疏性特点，而也有不少数据通过某种变换，也具备较为显著的稀疏性特征。依旧举图像去噪问题为例，当用TV范数刻画“自然图像是比较平滑的”这一属性时，其实可以等价理解为把这一属性近似地用“自然图像数据在差商变换后将具有较强稀疏性”这一易于表达的属性进替换。这意味着经过了差商变换的自然图像，具备了稀疏性的特点。

由于现实数据广泛具有的稀疏性特征，如何使用量化方式有效刻画数据稀疏性度量，即如何构造有效刻画数据稀疏性的正则函数形式，是机器学习、数据挖掘、模式识别等诸多领域关注的问题。……