基于生成对抗网络的图像识别

程换新，张志浩，刘文翰，郭占广

(青岛科技大学 自动化学院，山东 青岛 265200)

0 引 言

随着自然语言处理[1]和图像理解的进步，更复杂和更苛刻的任务已经触手可及。该文的目标是利用最新的发展来改变现实世界中回答自然语言问题的现状。这个任务结合了对问题意图的推断和视觉场景理解与单词序列预测任务相结合。最近，基于分层的、端到端可训练的人工神经网络架构，已经在不同任务中改善了技术水平。最显著的是生成对抗网络提高了图像识别的准确率，而长短期记忆网络在一系列序列预测任务(如机器翻译)中占主导地位。近年来，这两种神经结构已卓有成效地与方法相结合以生成图像和视频描述。两者都是针对源自深度学习架构的视觉特征，并使用递归神经网络方法来产生描述。

为了进一步拓展深度学习架构的边界并探索其局限性，该文提出了一种解决图像问题的架构。与之前的工作相比，这项任务需要语言和视觉输入的训练。这两种模式都必须被解释，并共同表示为一个答案，这取决于问题的推断意义和图像内容。

1 生成对抗网络

生成对抗网络如图1所示，是由Ian Goodfellow等人于2014年首次提出的神经网络模型，是一种深度学习模型，也是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块—生成模型(generative model)和判别模型(discriminative model)的互相博弈学习产生相当好的输出。原始GAN理论中，并不要求G和D都是神经网络，只需要能拟合相应生成和判别的函数即可。……