基于限制性玻尔兹曼机的叶片识别算法研究

毛旭东

摘 要

叶片识别是最简单和直接的植物识别方法，采用机器学习算法是解决叶片识别的重要途径。为更有效的识别叶片，提出基于限制性玻尔兹曼机的叶片识别算法，并通过实验论证算法的可行性。

【关键词】机器学习 叶片识别 限制性玻尔兹曼机

在植物的分类或者检索研究中，通常都选取植物的局部形态特征，如植物中长出现的花、叶、枝条等植物器官。虽然这些植物特征都有各自的分类价值，但与植物其它器官相比，叶片显然具有易于提取，容易转化为计算处理图像等优势，所以常在植物识别中作为主要的参照器官，同时叶片的生长形状和颜色特征又是研究植物异化的一个重要的指标，因此在传统的植物叶片识别系统中，通常都将叶片识别作为最简单和直接的植物识别方法。

近年来，越来越多的机器学习方法在现实中被广泛的应用，机器學习方法正在传统行业中发挥着重要的作用，研究基于机器学习算法的叶片识别系统具有一定应用价值。

1 玻尔兹曼机

玻尔兹曼机（Boltzmann machine， BM）作为Hopfield网络的一种概率形式，具有良好的概率建模和计算能力。该模型最早脱胎于物理学中的能量模型，用于描述各种高阶变量间的相互作用机制，这种模型的计算方法相对复杂，但其理论框架相对来说较为完善，在BM中每个神经元以一定的概率处于0和1两种状态之下，BM的网络拓扑如图1所示。

其中单个圆表示隐藏节点，双圆代表可见节点，可见节点用于接收观察向量，作为一种概率性的Hopefield网络，BM的能量函数定义如下：

（1）

其中，wij代表节点i和节点j的连接权重， si，si表示节点i和节点j状态，θi表示节点i的输出阈值。在BM中每个节点都以一定的概率输出为零，同时也以一定的概率输出为一，概率的输出计算如下：

（2）

（3）

当上述概率大于阈值θi时，当前节点取值为1，否则取值为零。作为一种典型的反馈形神经网络，该算法的学习过程相对比较困难，传统而言，该模型采用采样的方法估计模型的权重参数，总所周知，采样方法的缺陷在于难以估计采样收敛时间，且采样过程相对缓慢，因此这种模型虽然建模能力强大，但是其若将其应用于DBN模型中，则模型的估计时间显然过长。

2 限制性玻尔兹曼机

如上所述，玻尔兹曼机由于其内部复杂的工作方式，权值的估算通常依赖采样等方式进行，这种方法耗时耗力，为进一步简化BM的拓扑结构使得网络的计算快速有效，限制性玻尔兹曼机将BM的隐藏层节点间的相互连接取消，同时取消可见层间的相互连接，限制性玻尔兹曼机的拓扑结构如图2所示。

相较于BM的结构，RBM结构简单，因此训练和学习的效率也更加有效。在标准的RBM网络中，可见层用v表示，隐藏层用h表示，且其取值一般取0和1，对于给定了权值的RBM网络，隐藏层计算算法如下：

算法1：

（1）使用公式1和2计算每个隐藏层节点的输出概率。

（2）随机从均分布U（0，1）中抽取元素u，若该元素大于隐藏概率的输出概率则隐藏层取0，否则隐藏层取1。

当RBM中节点的取值是0和1的二值时，RBM的能量函数定义如下：

（4）

其中wij表示节点i和节点j间的权值，bi表示隐藏层节点i的偏执，ai表示可见层节点j的偏执，无论是在RBM网络还是在BM网络，都是一种特殊的概率图网络，概率图中将可见节点的边缘概率最大化即是求解网络参数的最简单方式，可以证明最大化可视节点的边缘概率等价于最小化网络的能量函数。

下面考虑节点的输入不是二值函数时，网络的能量函数定义，一般而言，为应对这种情况，通常在独立网络单元中加入高斯噪声，因此可以定义能量函数如下：

3 RBM参数学习

从上述的讨论中可知，模型的训练可以通过最小化能量函数实现，现假设训练样本共有T个，与前述神经网络中相类似，求能量函数的导数，然后使用梯度下降方法得到网络的最终权重。由文献可得，与能量函数等同的似然函数的导数为：

上式中第一项表示求数据的期望，第二项表示求模型的期望，数据的期望相对来说求解较为容易，模型的求解设计到v，h的所有情况，计算量较大，为处理这类方法，在现代概率估计方法中通常使用GIBBS等采样算法，这种方法基于马尔科夫采样原理，当状态沿着马尔科夫链进行转移的时候，最后系统中的每个状态出现的概率将处于一个稳定的收敛状态，若此时再沿马尔科夫链进行转移，系统中的每种状态出现的概率将不会改变，这种收敛性与最初的初始状态无关，只与状态的转移概率有关，GIBBS采样是一种估算每一步转移概率的方法，经过该方法得到的转移概率最终的收敛概率等于目标概率，转移的状态被作为采样本，这种方法推算简单，收敛速度快，因此被广泛的用于估算各种联合分布、边缘分布。

对于Gibbs 采样，从条件概率采样往往比从边缘概率采样容易。设需要抽样的分布为p（X）=p（x1，x2，x3，...，xN），GIBBS采样对此概率的采样过程如下，给定X任意的初始值。

（1）从条件分布p（x1|xi-12，xi-13，...，xi-1N）中抽取样本xi1；

（2）从条件分布p（x2|xi1，xi-13，...，xi-1N）中抽取样本xi2；

（3）从条件分布p（x3|xi1，xi2，...，xi-1N）中抽取样本xi3；

（4）从条件分布p（xN|xi1，xi3，...，xiN-1）中抽取样本xiN。

在RBM中可以通过上述的采样过程得到模型的联合分布样本从而估计模型的总体期望，这种方法存在的缺点是，当使用梯度下降迭代求解模型参数时，每一步的模型更新都需要进行Gibbs采样，这样大大降低了模型训练的速度，这种不足在RBM应用于高维数据时尤为明显。针对这种不足Hinton等人提出一种对比离差算法（Contrastive Divergence，CD），该算法不同Gibbs采样算法估计模型的联合分布概率，CD算法可以快速求解模型本身的期望，在CD算法中，Hinton指出当使用训练数据初始化可视层时，k步的Gibbs采样就可以使联合概率得到很好的近似。

对比散度算法（CD）的目的在于使用简单的采样步骤代替GIBBS采样中复杂的采样过程，在该算法中模型梯度中的重构期望被简单的一步采样代替，从而大大降低系统的采样复杂度。对比散度的算法过程如下：

算法2： 对比散度算法

（1）对训练训练数据中的每一条记录将其赋值给可视层，计算其输出概率。

（2）从上述概率中抽样隐藏层状态h，然后通过该隐藏概率计算可视层输出概率，同样，从该概率中抽样出一个可视层状态。

（3）再次从上述抽取的可视状态出发计算隐藏层输出概率。最后得到参数的更新公式

。

4 基于深度网络的叶片识别实验

为了研究深层网络中，植物叶片的识别效果，这里采用中科院的ICL数据集，在本数据集中，共包含200多种叶片，每类叶片包括至少30片叶片样本，为后续讨论的方便，共设计了两组数据，一组是纹理特征不明显的叶片样本，这类叶片样本的叶片表面光滑，不容易分辨，另一组则是纹理特征相对明显，叶片相对容易分辨。

在训练时采用三层DBN模型，第一层隐层使用1000个隐藏节点，第二层与第一层相同，第三层则使用2000个隐层节点，训练前先对数据进行归一化，使其成为80*40的叶片图像，同时为扩大训练样本数量，每类样本进行复制处理，样本标签数量取十类和二十类两类样本数据库，原始样本中每类样本数量为50，复制以后每类为150，每类中使用10片样本用于分类测试，下面给出RBM迭代次数不同时，各自的识别率，如表1所示。

进一步使用纹理特征较明显的样本，图3可以看出，相对图4中的叶片样本，本次实验使用的样本在纹理方面相对更突出，该样本同样来源于ICL数据库，与上述处理类似，首先将样本进行归一化，然后观察样本识别率在RBM迭代次数变化时的平均识别率，如表2所示。

比较上述两类实验，可以发现，当实验样本形状等差异度更大时，DBN的分类性能更好，这与我们的常识是相符合的，对于相似的叶片，若网络只是使用单纯的RBM网络对叶片图像进行重建操作，则相类似的叶片在网络中的重建特征应该是类似的，此时若标记样本不足，则很难通过调整权值的方式使得网络具有优秀的分辨能力。同时从RBM的迭代次数可以发现，随着迭代次数的增多，叶片的识别精度随之提高，上述的RBM推导中可以知道，RBM的训练会随着迭代次数的增加愈加收敛于能量最低点，从而得到最优的重建性能。

參考文献

[1]李超，李昂，朱耿良.基于限制性玻尔兹曼机的微博主题分类[J].电信网技术，2014（07）：008.

[2]秦胜君，卢志平.基于限制玻尔兹曼机的无极性标注情感分类研究[J].科学技术与工程，2013（35）：10703-10707.

[3]刘建伟，刘媛，罗雄麟.玻尔兹曼机研究进展[J].计算机研究与发展，2014，51（01）：1-16.

[4]Hinton G E.Training products of experts by minimizing contrastive divergence[J].Neural computation，2002，14（08）：1771-1800.

[5]Itti L，Koch C，Niebur E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，1998（11）：1254-1259.

[6]Liu T，Yuan Z，Sun J，et al.Learning to detect a salient object[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on， 2011，33（02）：353-367.

[7]Zhai Y，Shah M.Visual attention detection in video sequences using spatiotemporal cues[C]//Proceedings of the 14th annual ACM international conference on Multimedia.ACM，2006：815-824.

[8]Cheng M，Mitra N J，Huang X，et al.Global contrast based salient region detection[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2015，37（03）：569-582.