基于递归金字塔的多任务轻量化图像超分辨率算法

(重庆理工大学计算机科学与工程学院,重庆 400054)

1 本文方法

1.1 整体网络结构

我们提出的递归金字塔多任务网络(Recursive Pyramid Multitasking Networks,RPMN)可以在单个网络中端到端地解决多个倍数的放大任务,是一个的轻量化多任务网络。如图1所示,本文算法RPMN 由三个部分组成,分别是浅层特征提取模块,递归金字塔,重构模块。

图1 算法流程Fig.1 Algorithm flow

1.2 递归金字塔模块

为解决超分辨率网络层数需求大和网络单任务的问题,我们构建一个轻量化递归多任务网络,其中最重要的模块便是我们设计的递归金子塔模块。

我们整体网络结构受递归网络[1]的启发,设计了递归金字塔模块。整体的设计思想是:将一个2n的放大任务分解为n 个2 倍放大任务,将2 倍放大任务以相同的参数建模,使用递归结构的形式在每一次的递归中完成,n 次递归便能完成2n倍数的超分任务。

基于上述的设计思想,我们设计了轻量化多任务的递归金字塔模块。如图2所示。

图2 递归金字塔模块Fig.2 Recursive Pyramid Module

图2 是我们算法的2 层递归金字塔。该网络结构受到DRCN和多任务学习的启发,绿色框中的部分采用作为迭代的结构整体,所有卷积和反卷积(粉红部分)共享卷积,与DRCN相比做了以下3点改进:(1)独立的重建卷积解决单网络多任务的问题;(2)在端到端网络里同时训练多个任务,各任务间正向促进;(3)使用了LAFM替换了普通的卷积堆叠,充分地轻量化网络,提高特征提取能力。网络的各级特征图呈现出金字塔的形状,故将网络称为递归金字塔。

1.3 局部自适应融合模块

算法中非映射主体是递归金字塔,递归金字塔主要由多个局部自适应融合模块构成(Local adaptive fusion module,LAFM),LAFM设计如下图3所示。……