生成式对抗网络在自然语言处理中的应用

乔秀明 赵铁军

摘 要： 生成式对抗网络（Generative Adversarial Networks， GAN）是一种非常简单易行的生成式模型，不依赖任何先验假设，通过采样的方式生成似真数据，且生成速度快。近年来，生成式对抗网络在图像处理及自然语言处理任务中得到了广泛的应用。但是，生成式对抗网络同样存在缺点，比如训练过程中不稳定、生成数据过程中出现模式坍塌现象等。本文从网络结构、损失函数定义出发来分析GAN，并介绍其在自然语言处理中的应用。

关键词： 生成式对抗网络; 自然语言处理; 序列生成; 迁移学习

文章编号： 2095-2163（2021）03-0181-05 中图分类号：TP391;TH166 文献标志码：A

【Abstract】Generative Adversarial Networks （GAN） is a kind of simple generative model， for it does not rely on any prior probability and can generate real-like data using sampling with high speed. Recently， GAN is used widely in tasks of image processing and Natural Language Processing（NLP）. However， GAN has many disadvantages such as instability in training process and mode collapse in generation process. This paper will analyze GAN from the architectures and loss functions， and introduce its applications in NLP.

【Key words】 Generative Adversarial Networks; Natural Language Processing; sequence generation; transfer learning

0 引 言

生成式模型是機器学习算法中重要的组成部分，可有效地学习数据真实分布pdata（x）的参数θ。生成式模型越来越多地用于估计高维信号数据的结构并人工生成多样化的数据，如图像、视频、音频、文本序列等。生成式模型可用于表示学习[1]、半监督学习[2]、领域迁移[3]、图文转换[4]、超分辨率[5]、图像增强[6]等等。生成式模型可分为隐式和显式两种类型，显式生成式模型，例如VAE（Variational Autoencoders），以最大化其似然或最下界为目标函数，需要获取显式密度概率函数。但是，很多情况下难以获取并表示高维数据的真实分布[7]。隐式生成模型不需要显式的密度概率，例如生成式对抗网络利用采样机制生成新数据。

生成式对抗网络由Goodfellow等人[8]提出，因其不依赖于对数据分布的任何假设，并且可以生成特别相似的假样本，受到越来越多的关注。GAN广泛应用在图像增强、风格转换、图像翻译、序列生成等任务中。……