基于动态Gibbs采样的RBM训练算法研究

李飞　高晓光　万开方



基于动态Gibbs采样的RBM训练算法研究

李飞1高晓光1万开方1

目前大部分受限玻尔兹曼机（Restricted Boltzmann machines，RBMs）训练算法都是以多步Gibbs采样为基础的采样算法.本文针对多步Gibbs采样过程中出现的采样发散和训练速度过慢的问题，首先，对问题进行实验描述，给出了问题的具体形式;然后，从马尔科夫采样的角度对多步Gibbs采样的收敛性质进行了理论分析，证明了多步Gibbs采样在受限玻尔兹曼机训练初期较差的收敛性质是造成采样发散和训练速度过慢的主要原因;最后，提出了动态Gibbs采样算法，给出了对比仿真实验.实验结果表明，动态Gibbs采样算法可以有效地克服采样发散的问题，并且能够以微小的运行时间为代价获得更高的训练精度.

受限玻尔兹曼机，Gibbs采样，采样算法，马尔科夫理论

引用格式李飞，高晓光，万开方.基于动态Gibbs采样的RBM训练算法研究.自动化学报，2016，42（6）：931-942

自2006年Hinton等［1］提出第一个深度置信网络开始，经过十年的发展，深度学习已逐渐成为机器学习研究领域的前沿热点.深度置信网络［2］、深度卷积神经网络［3］、深度自动编码器［4］等深度网络也广泛应用于机器学习的各个领域，如图像识别、语音分析、文本分析等［5-7］.相对于传统的机器学习网络，深度网络取得了更好的效果，极大地推动了技术发展水平（State-of-the-art）［8］.尤其在大数据背景下，针对海量无标签数据的学习，深度网络具有明显的优势［9］.

受限玻尔兹曼机（Restricted Boltzmann ma-chine，RBM）［10］是深度学习领域中的一个重要模型，也是构成诸多深度……