GAN的理论及改进方向

柴梦婷

随着人工智能的发展，具有零和博弈思想的生成式对抗网络GAN（Generative adversarial networks）已成为人工智能领域的一个热门研究方向。GAN将机器学习中的生成式模型和判别式模型思想结合，通过对抗学习的方式对二者共同训练，旨在估测数据样本分布以及生成新的数据样本。本文首先对GAN的基础概念和理论进行介绍，并分析该模型的理论框架及其优势；其次对GAN扩展中主要的几个研究成果进行梳理与介绍，主要分为对GAN自身的改进研究成果以及从第三方对GAN进行改进的研究成果两部分。最后对GAN最前沿的实际应用做一个简单的介绍。

【关键词】机器学习 人工智能 生成式对抗网络 对抗学习 生成式模型

1 生成式对抗网络

GAN 最初由 Ian Goodfellow 提出，它由两个网络构成：生成器和判别器。原始的GAN中，生成器和判别器由MLP（多层感知器）构成，但同时，它们也可以采用当前较成熟的一些深度神经网络。

两个网络在同一时间进行训练GAN 的训练过程是一个极小极大博弈 （Minimax game） 问题， 最终要达到的目标是使生成器估测到真实数据样本的分布。生成器捕获真实样本的数据分布，从而生成数据样本愚弄判别器，判别器则估计该样本到底来自于训练数据还是生成数据，以保证不被生成器所愚弄。最终两者会达到一个平衡，结果就是生成器生成以假乱真的数据样本，判别器则输出一个固定的概率值。

Ian Goodfellow在论文中将这两者比为货币的伪造者（生成器）和警察（判别器），伪造者不停地制造假币以期望在使用的时候不被发现，而警察则需要识别出这些假币。这两方的竞争使得各自的能力都有所提升，最终伪造者的假币与真币无法区分。

1.1 模型框架

原始GAN模型是首先将一个100维的随机噪声z输入生成器，随后该噪声在构成生成器的多层感知器或是神经网络中映射到一个新的数据分布，得到G（z）；而后将真实数据分布x与G（z）共同输入到判别器中，判别器对于输入的两个数据分别做出一个判断，输出一个概率值，如果判别器的输出与假定的答案方向相同，即真实数据的概率值接近于1，生成数据的概率值接近于0，则说明此时生成器生成的数据置信度不高，而判别器性能很好。

这个不断训练的过程，就是生成器G与判别器D的极大极小博弈过程。D为了更好地区分G（z）和x，就需要准确的识别二者，并将二者判断后输出的概率尽量二分化，即使得D（x）尽量大而D（G（x））尽量小；而G的目标就是使自己产生的数据尽量与真实数据接近让D无法区分。因此，这两个模块的训练过程就是一个相互竞争、相互对抗的过程，D和G的性能在不断地迭代过程中不断提高，直到最终D（G（z））与真实数据的表现D（x）一致，此时G和D都已达到最优。

1.2 理论公式

Ian Goodfellow对于这一过程在论文中提出的公式有两点需要理解的就是：

（1）公式在简单的求D（X）和D（G（z））的基础上加入了求对数的过程；

（2）公式加入了求期望值的操作。

首先，对于加入求对数这一步，是统计学中常用到的方法，一来降低一些不可预期的干扰噪声对数据分布的影响，二来缓解数据分布偏差问题。在许多统计学问题上，人们倾向于求最大对数似然估计值就是为了避免一些不必要的数值问题。

其次，對于期望值的计算，是因为GAN本身的理念，为了使得最终生成的数据分布Pg（G（z））与真实数据分布Pdata（x）一致，也就是说希望生成数据尽量地拟合真实数据，但并非生成生成真实数据本身，这样才能保证生成器生成的数据既与真实数据有一定相似性，同时又不同于真实数据。

1.3 改进方向

原文针对模型框架和理论公式进行了说明与验证，表明了GAN的理论有效性，而对于其中的细节并没深究，比如最初输入生成器的信号只是随机噪声，生成的结果无法控制；比如文中的G和D都只是由最简单的MLP构成；不过作者在文章结尾的总结中列出了GAN可以改进的5个参考方案，主要包括：带条件的GAN、改进的噪声z、实现GAN的半监督学习、训练一个带参数的模型来约束生成的数据更接近真实数据、提高模型训练效率等。为之后的学者们的研究指出了方向。

2 结语

在这些改进方向中，除了第五点目前还没有太多的研究进展，前四点都已经陆续开始有了成果，尤其是带条件的GAN以及对输入的噪声的限定，在很多与GAN有关的工作中都已被应用。实际上对于原始GAN来说，它给了对生成模型有兴趣的学者们一个足够大的发挥空间。目前已知的GAN已经应用于超分辨率图像的处理、实现了由文字生成图像甚至在视频处理方面也有良好的表现（通过视频已有的内容生成和预测视频的下一帧）。

但GAN目前面临着一个尴尬的问题，就是其生成的样本好坏是由人的肉眼来评判，没有一个第三方的客观评价作为标准，这就使得模型的判别受主观因素的影响。所以GAN的发展之路，还有待我们继续探索。

参考文献

[1]Ian J.Goodfellow，Jean Pouget-Abadie， Mehdi Mirza，Bing Xu，David Warde-Farley，Sherjil Ozair，Aaron C. Courville，Yoshua Bengio.Generative Adversarial Nets.NIPS 2014：2672-2680.

[2]Arjovsky M，Chintala S，Bottou L.Wasserstein gan[J].arXiv preprint arXiv：1701.07875，2017.

[3]Sebastian Nowozin，Botond Cseke，Ryota Tomioka.f-GAN：Training Generative Neural Samplers using Variational Divergence Minimization.NIPS （2016）.

作者单位

天津师范大学 天津市 300387