基于GAN的视频流超分辨率方法设计与实现

李耀兵，李 赟，李 俊

(国家工业信息安全发展研究中心，北京 100040)

0 引言

超分辨率的研究按照对象可划分为单帧图像超分辨率和多帧图像(视频)超分辨率[1]。由于多帧图像多出了时间维度，简单地将视频看作是一个个单帧图像，通过对单帧图像的处理来实现对视频的超分辨率任务，结果通常是视频变得不再平滑，视频内的物体会有移位的现象。图像分辨率定义的直观表现是图像的像素数目，更大的感光元件才能捕获更多的细节信息。因此，要得到高分辨率图像需要感光元件(图像传感器)有更大的感光面积，同时需要更大的带宽来传输高分辨率的图像。图像的分辨率越高，图像的细节信息就越丰富。受硬件、功耗和带宽等的限制，图像和视频的分辨率在实际应用中往往达不到理想状态，因此只能在这些因素之间进行均衡。在实际应用中，单纯地通过硬件的方式来提升图像分辨率的代价太高。因此，在当前的硬件基础上，通过算法提升图像和视频的分辨率成为研究界和工业应用所期盼的重要技术之一[2]。

按照输入图像的数量，可以将图像超分辨率分为单帧图像超分辨率算法和多帧图像超分辨率算法。单帧图像的超分辨率算法包含基于插值的和基于学习的方法。基于插值的方法执行速度快，但得到的结果有时过于模糊，可能存在锯齿效应，复原质量较差。基于学习的方法具有更好的处理效果，引起了大家的普遍关注[3-5]。……