大数据背景下VI理论研究与实际应用

季艳秋，卢志义

(天津商业大学 理学院，天津 300134)

1 引言

贝叶斯推断是统计学习理论的重要组成部分。贝叶斯推断是从变量的先验分布出发，利用观察到的样本信息，根据贝叶斯公式得到参数的后验分布，从而对变量及其不确定性进行推断，进而做出决策的统计方法。贝叶斯推断在参数估计、模型评价与选择、概率隐变量建模等诸多统计学和机器学习领域具有广泛的应用。

在大数据背景下，贝叶斯机器学习通常采用概率隐变量模型，隐变量是模型中一些无法观测到的变量，它们虽然也是模型的一部分，但由于没有观测值，给贝叶斯后验分布的计算带来很大的不便。传统的做法是通过对所有隐变量进行求和或积分运算，从模型中“删去”隐变量，从而达到简化计算的目的。但对于复杂模型和大规模数据，以上方法面临严峻的挑战。主要表现在，由于模型中隐变量较多，可能达到数百万甚至数亿，对这些隐变量进行求和或积分运算显然是不可行的，即便可以依赖于现代计算机快速计算能力进行精确计算，但计算所消耗的时间代价是无法承受的。在这种情况下，变分推断(Varational Inference，以下简称VI)为贝叶斯推断提供了一种非常高效的近似替代算法。

设观测变量x和隐变量z的联合概率分布p(x,z)，此处的z包括模型的参数。贝叶斯推断的主要目标是计算隐变量z的条件密度函数p(z|x)，但该密度函数的显式表达是很难得到的。解决这一问题的方法可分为两类，即MCMC(Markov Chain Monte Carlo)方法和VI。……