一种基于生成对抗网络的轻量级图像翻译模型

王荣达，刘宁钟，李强懿，沈家全

(南京航空航天大学 计算机科学与技术学院，江苏 南京 211106)

0 引 言

在深度学习发展迅速的今天，研究员们已经设计出了大量优秀的大型神经网络算法模型，这些模型在很多任务上都表现非常出色，例如目标检测、图像分类、细粒度识别、图像生成、图像到图像翻译等任务。但是它们都有一个共同的缺点，就是所需要的计算量和模型大小都非常大，通常需要配置大显存的GPU进行运算。而在移动互联网高速发展的今天，日常的应用更多地会放到移动端，而很多大型网络需要的运算量手机是无法进行处理或者运行时速度过慢。这时候就需要对神经网络模型进行优化压缩和加速。常见的做法有设计轻量级卷积神经网络，从而降低模型所需要的参数量，或者对一个训练完成的大型卷积神经网络进行模型剪枝。

轻量级神经网络经过了多年的发展，取得了一定的成果。例如在ICLR-2017上提出的SqueezeNet[1]，它在只用到Alexnet[2]模型五十分之一的参数量的情况下，在图像分类数据集ImageNet[3]上实现了和Alexnet相同的正确率。文章中还利用了模型压缩的思想，可以将模型的大小进一步压缩到0.5 MB。随后MobileNet[4]、ShuffleNet[5]等新型轻量级网络的提出，更是进一步探讨了在非常深的卷积神经网络中该如何设计轻量级网络结构的问题。

1 相关工作

为了从预训练的模型中学习紧凑而有效的网络，Denton等人[6]利用奇异值分解(SVD)实现了全连接层中参数的低秩近似，从而降低了模型的参数量。……