深度信念网络应用于图像分类的可行性研究

程国建　郭文惠

摘要；如何提高图像分类的准确度是图像研究的重要课题，而图像特征的提取在图像分类准确度方面起决定性作用。该文详细阐述了深度信念网络结构及其自动提取图像特征的过程，并对其原理进行了详细分析，说明了深度信念网络应用于图像分类的可靠性。

关键词：图像分类；深度信念网络；特征提取

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）07-0173-02

随着社会的不断进步，图像已经成为重要的信息来源。而图像分类是图像处理中的一项重要工作，尤其对海量图像进行分类并提高其准确度，是当前图像处理领域中要解决的关键问题之一，包括张旭、付仲良x、Mariusz Myllarczuk等在内的许多研究者在图像处理方面做了大量研究。深度信念网络是一种典型的深度学习算法，目前，已有很多研究者将深度信念网络应用于图像分类中，可以用于多特征融合及深度信念网络进行了植物叶片识别、深度信念网络识别了手写数字、深度神经网络在小图像分类中的应用等。

传统的岩石图像分类是人工提取特征的，具有一定的主观性并且效率低下，而深度信念网络能自动提取图像的特征，克服了人工提取的不足，为图像分类奠定坚实的基础，可用于大量图像的分类并具有较高的准确度。

1受限玻尔兹曼机（RBM）

1.1受限玻尔兹曼机简介

受限玻尔兹曼机可看作一个两层的神经网络，遵循神经网络的一般特性。相比于传统玻尔兹曼，RBM的特点是层间神经元全连接，而层内神经元无连接。它的结构如图1；

如图1所示，RBM结构由可见层v和隐含层h构成，并且是对称结构。在一个RBM中，给定可见层，隐含层可以服从任意分布；相反地，给定隐含层，可见层也可服从任意分布。

1.2训练受限玻尔兹曼机

1.2.1神经元之间的独立性

在RBM中，只有层间的对称连接，故，若给定所有可视层节点的值，则每一个隐藏层节点的取值是互不相关的，即，反之亦然，即。

1.2.2RBM的使用

正向传递过程：

假设已经训练好一个可使用的RBM，权重矩阵为w。正向传递是在已知可见层节点值的条件下求隐含层节点开启的概率。同普通神经网络一样，首先计算出每个隐含层节点的激励值。如图2所示，以含有4个可见层节点、3个隐含层节点的RBM为例。每个可见层节点值x与其对应的权重相乘，之后将这四个值（共四个输入）相加后再与偏置6相加，以此作为该隐藏层节点的输入，最后在该隐藏层节点上通过激励函数的作用得到其输出a。

然后，标准化每个隐层节点的激励值。具体操作是用式1所示的sigmoid函数作用于该激励值，将之转化为0到1之间的数，并用该值表示隐层节点开启的概率。

（1）

最后，抽取隱层节点。将计算出来的隐层节点开启概率与设定的u值进行比较，最终决定隐元开启或关闭，如式2，其中u值是从0，1分布中随机抽取的。

（2）

反向传递过程：

RBM最显著的性质就是无监督地重构数据，即在可见层与隐藏层之间进行多次正向传递和反向传递，而不加大网络深度。反向传递是对前一次正、反向传递后可见层结果的重构过程。

如图3所示，反向传递过程是在已知隐含层的条件下求可视层，将正向传递之后隐层节点的结果作为输入，如正向传递过程一样，这些输入值又与同样的权重相乘之后再相加，然后再与可见层的偏置相加，所得结果即为重构值。

在RBM中，正向传递是通过初始值预测隐藏节点的值；反向传递则是通过隐藏节点的值重构可视层节点值。通过重构值与真实数据的对比为标准调节权重，使重构值尽可能接近真实值，以此来提取原始数据的特征。

1.2.3对比散度算法训练RRM

对于RBM来说，其训练过程便是求得合适的层间权重。具体操作是通过多次正向传递和反向传递过程，得出可见层与隐藏层之间的联合概率，将之作为连接权重。

目前常用的RBM训练方法是G-hinton提出的对比散度（CD）算法，其训练过程如下：

对于训练集中的一个样本，将之输入到可见层口（0），使用式（1）计算每个隐层单元开启的概率，并用上文方法从中抽取出样本h（0）。

使用h（0）重构出可视层并抽取出样本v（1）。

再使用计算出隐层单元的开启概率。并按式3更新权重；

（3）

重复上述步骤直到训练完所有样本。

2深度信念网络（DBN）

2.1深度信念网络简介

深度信念网络是由G_hinton在2006年提出的一种深度学习算法，它能较为快速、准确地提取样本的本质特征，可用于数据的分类与识别，克服了传统方法中人工提取特征的盲目性以提高精度。其结构可看作是若干个RBM的叠加，以三层DBN（两个RBM叠加而成）结构为例，其中RBM1的隐藏层可看作是RBM2的可视层。每个RBM的训练方法同普通RBM一样。

2.2DBN的训练

DBN中前一层的输出作为后一层的输入。其训练过程是采取贪心算法的思想分层进行的，即从输入层开始，先训练好一个删，将其权重固定，将第一个RBM的输出作为第二个RBM的输入训练好第二个RBM固定权重后，将之叠加在第一个RBM之上，依次类推，直到网络最后一层。如此训练之后，使用wake-sleep算法对整个DBN进行进一步调优。

在图像分类中，是将DBN最后一层的输出连接到普通分类器中实现的。可对其进行如下调优：在训练完所有RBM之后，对整个网络使用梯度下降法调整权重，此时，网络就看作是一个普通神经网络。

3DBN的应用

使用DBN进行图像分类一般包括图像预处理、DBN建模、使用训练集数据训练DBN模型、最后使用测试集进行测试几个步骤。建模及训练方法上文已详细介绍，下面主要介绍数据集预处理过程。

数据集预处理首先是通过降采样等方法将图像大小调整至适合网络训练的规格。假设图像为大小为28*28，那么网络输入层就需要28*28个节点。其次是采用数据归一化和白化等操作对图像进行去燥和去冗余操作。最后将数据集分为训练集和测试集两部分。

数据集预处理之后，使用训练集数据进行网络的训练。首先是DBN的分层训练，然后是将分类器连接到DBN上通过梯度下降法进一步调整网络，直到满足要求。网络训练好后便可通过DBN自动提取特征，再将此特征输入到普通分类器中对测试集数据进行分类。

目前DBN已成功应用于图像识别领域，如林妙真将其应用于人脸超分辨图像识别，并分别在不同的表情、分辨率及不同姿态下都取得了较好的识别率，通过实验均取得了较好的结果，证明了DBN在图像分类中的可靠性。

4结语

AiphaGo大战围棋高手李世石并取得胜利的事实证明了深度学习的巨大潜力，而深度信念网络是深度学习中一个重要的网络，运行效率较高并能自动获取图像特征，可提高图像分类效率和准确度，既可用于大规模数据的分类，也可用于小规模数据的分类。将深度学习算法应用于图像分类，可大大提高工作效率及分类准确性。