基于生成对抗网络的行人异常行为图像去模糊算法研究

2021-07-19 12:02吉训生
光电工程 2021年6期
关键词:残差梯度卷积

吉训生,滕 彬

基于生成对抗网络的行人异常行为图像去模糊算法研究

吉训生,滕 彬*

江南大学物联网工程学院,江苏 无锡 214122

为解决在行为异常检测中遇到的运动模糊问题,提出一种基于DeblurGAN改进的快速去运动模糊算法。使用3个3´3的卷积替换原生成器中的7´7的卷积,并舍弃原算法上采样时使用的转置卷积,对需要上采样的特征图进行双线性插值。将原算法生成器结构中的残差单元替换成密集残差块(RRDB),然后将得到的残差特征缩放到0~1之间的值,避免训练不稳定。在原生成器的损失函数中添加梯度图像的L1损失,增加图像的边缘信息使重建后的图像边缘更明显,克服了DeblurGAN重建图像边缘细节不够清晰的缺陷。经实验验证,并和文献[14]、文献[18]进行比较,结果显示:优化后的模型与DeblurGAN相比,峰值信噪比提高0.94,结构相似度和速度相当,并解决了重建后图像棋盘格子的问题,细节边缘更加突出,模型性能优于相关算法。

生成对抗网络;运动模糊;密集残差块;图像重建

1 引 言

在复杂环境下,如带有运动、失焦等噪声,造成图像质量变差,增加检测识别的难度。传统去模糊方法多是先根据清晰图像的先验假设,估算出运动模糊核,然后与模糊图像进行卷积,用加性噪声去除模糊。但运动模糊核的估计较为复杂,对清晰图像的先验假设也不具备泛化性,很难达到目标。鄢化彪等[1]提出一种基于图像相邻列灰度一致性的算法,融合无参考图像质量评价算子对反卷积后的图像质量进行优化,根据融合的评价指标与图像自变量之间的单峰关系求得复原图像。

随着基于深度学习的去运动模糊方法被不断提出,Sun等[2]使用卷积神经网络来预测运动模糊的概率分布,并通过图像旋转设计和马尔可夫随机场模型来推断运动模糊场,但其去模糊处理过程耗时过长。Nimisha等[3]通过将自编码器和生成对抗网络相结合,提出一种基于稀疏自编码的条件生成对抗网络用于模糊图像的盲复原。Ramakrishnan等[4]提出一种用于消除运动模糊的深度生成网络,该方法将密集卷积神经网络与生成对抗网络结合在一起,搭建去运动模糊网络模型,取得了较好的去模糊效果。

为进一步提高去模糊的细节清晰度,解决原算法中[5]存在的棋盘效应(假设生成的图像中包含1只黑猫。黑猫身体部分的像素颜色应平滑过渡,或极端地说,该部分应全为黑色。实际生成的图像中该部分却有深深浅浅的近黑方块组成,很像棋盘的网格,即棋盘效应),本文提出一种改进的DeblurGAN算法。在保证相同感受野的前提下,将原算法生成器中头部和尾部的7´7卷积替换成3个3´3的卷积,例如1个7´7卷积核有49个参数,而3个3´3卷积才27个参数,而且每层3´3卷积后面都会有ReLU激活层。减小参数量的同时增加网络的非线性。并舍弃原算法上采样时使用的转置卷积,对需要上采样的特征图进行双线性插值达到上采样的目的。插值使相邻像素卷积之后分布均匀,解决原算法使用转置卷积引起的棋盘格子问题。为解决原算法由于残差单元丢失的分层特征,将原算法生成器结构中的残差单元替换成密集残差块(residual-in-residual dense block,RRDB)[6],丰富恢复图片的细节信息。此外,为了解决原算法中重建图片边缘不清晰的问题,将生成图像和清晰图像中的梯度信息[7]取L1范数加入到原生成器的损失函数中,从而丰富重建图片的边缘信息,获得更清晰的图像。

2 去模糊算法

2.1 去模糊基本原理

图像的运动模糊模型:

2.2 基于cGAN的盲去运动模糊

根据模糊核是否已知可将去模糊工作分成非盲去模糊和盲去模糊,非盲去模糊可以根据模糊图像和已知模糊核求解出清晰图片,而盲去模糊只有估计出精确的模糊核才能恢复潜在的清晰图像。

cGAN算法在模糊核未知的前提下,将模糊图像输入到生成器中生成模拟清晰图像,并通过判别器进行对抗式训练,生成精确的模糊核来恢复潜在的清晰图像,是典型的盲去模糊算法,本文算法就是基于cGAN的盲去模糊算法[8],其算法流程如图1所示。

带有加性噪声的模糊图像B[9]经过生成器G重建后得到模拟的清晰图片G(B),然后同时将生成后的图片和对应的清晰图片送到判别器得到一个0~1之间的概率值,该值越接近于1说明越接近于清晰图像。使用判别器的判别结果反向指导生成器不断生成和清晰图像接近的分布。当生成器生成的图像接近于真实图片,判别器依然能够很好地判别真假,两者达到平衡的时候说明网络达到最优状态。

图1 基于cGAN的算法框架

3 基于DeblurGAN去模糊算法的改进

原算法生成器结构如图2所示,头部采用7´7的卷积提取特征,使用9个残差单元提取残差特征,使用两个转置卷积进行上采样,最后使用7´7的卷积还原3通道用于输出。

3.1 生成器结构的改进

本文算法在DeblurGAN的基础上进行改进,相比于原算法,本文在生成器结构上进行优化,判别器沿用原算法的PatchGAN结构。基于DeblurGAN改进的生成器网络结构如图3所示,其中IB是模糊图片,G(B)是模拟的清晰图片。头部由3个3´3的卷积组成,然后使用两个3´3的卷积缩减尺寸同时扩张通道,接着用9个RRDB获取融合全局和局部的残差信息,并对残差信息进行上采样,最后尾部使用3个3´3的卷积将通道数变成3,用于输出。

针对原文算法,本文优化如下:

1) 保证感受野不变的前提下,在生成器[10]头部和尾部使用3个3´3的卷积代替7´7的卷积,减小参数量的同时增加网络的非线性。

2) 使用RRDB替代原文中的残差单元,如图4,密集残差块采用连续记忆机制把上一个block的信息全部输入到当前block,密集连接机制可以尽可能地获取每层卷积信息,局部残差机制可以最大化融合局部信息,然后使用全局特征融合3个密集残差块的分层特征,且在残差信息输出时乘0.2进行缩放,以便密集残差网络的训练。

3) 在上采样过程中,舍弃原算法中使用的转置卷积,先对特征图进行双线性插值扩张尺寸,然后使用3´3的卷积进行通道数降维,避免转置卷积插0引起重构图像中出现棋盘格子的问题,两种方法的上采样模块如图5所示。

图2 原生成器结构

图3 生成器结构图

图4 两种方法的残差结构。(a) 残差单元;(b) 残差中残差密集块

图5 两种上采样方法。(a) 转置卷积;(b) 双线性插值

3.2 Residual-in-Residual Dense Block(RRDB)结构描述

由4组3´3的卷积层、实例归一化层、激活层经过从前向后依次跳跃连接形成密集残差块(dense block)如图6所示。Dense block在每个卷积层之间利用密集连接的方式,尽量利用这些层的信息,这些连接被称为Dense connections。

另外,采用一种连续记忆机制(contiguous memory)把上一个block的所有信息全部输入到当前block的每一个卷积层里面,避免造成信息冗余,提取一个block里面更有效的特征称为局部残差学习(local residual learning)。为避免参数过多难以训练,将最后的残差信息乘0.2,同时减小初始化参数。

图6 密集残差块

然后使用全局特征融合3个密集残差块的分层特征,利用全局残差学习,将浅层特征和深层特征结合在一起,从而获得全局密集特征构成的RRDB,如图4(b)所示,在网络层中去掉BN层。针对去模糊这种需要关注个例的均值和方差的任务使用实例归一化(instance normalization,IN)对单张图片的宽和高进行归一化,可以避免块归一化(batch normalization,BN)产生的伪影。

3.3 判别器网络

判别器结构如图7所示,判别器用来判断输入的图像是否清晰,本文使用带有梯度惩罚机制的5个卷积层组成的马尔科夫片判别器[11],即PatchGAN。在将图像输入到判别器之前要将整张图片随机裁剪成多个256´256的局部块,判别器只在局部块的尺度上加入梯度惩罚来判别在256´256的范围内是否清晰。将整张图片输入到判别器进行卷积,取所有局部块的判别结果的均值作为整张图片的判别结果。最后判别器的输出是一个0~1之间的概率值,当大于0.5时判断为清晰,反之模糊。采用局部块的思想可以极大地减小参数量,且适用于任意大小的图片。

图7 判别器结构

4 损失函数的优化

4.1 判别器的训练损失

本文的目标是由模糊图像生成近似清晰的图像,涉及生成器和判别器两个网络,需要以对抗的方式进行训练。判别器的任务是让清晰图像的判别结果接近于1,生成的伪清晰图像判别结果接近于0,所以要最大化清晰图像的判别损失,最小化生成图像的判别损失,另外增加梯度惩罚项WGAN-GP[12]防止GAN训练崩溃,其损失函数:

4.2 生成器损失的优化

4.2.1 生成条件损失

生成器的任务是最大化欺骗判别器,使判别器无法分清生成图像和清晰图像,即训练目标是最大化判别器将生成图像判断为真实图像的概率,其损失函数为

其中:代表输入的模糊图片。该损失函数保证生成器在给定模糊图片作为输入的情况下,输出和输入保持一致,避免偏离真实图片太多。

4.2.2 内容损失的优化

为保证生成图片的内容真实性,本文在内容损失函数中保留原算法的感知损失。另外,为了使重建图片边缘细节更加清晰,在内容损失中引入生成图像和真实图像之间的梯度L1范数,所以本文的内容损失为

1) 感知损失

感知损失是指生成图像和清晰图像输入到VGG19[13],在conv3-3层经过激活之后得到的两个特征图之间的欧氏距离如式(5),感知损失侧重于恢复一般内容,更高层次的卷积层代表更抽象的特征。

2) 新增梯度图像的L1损失

原算法中并没有为内容损失提供边缘信息,重建后的图片在边缘部分不够清晰。模糊图片的边缘是不规则的,清晰图片具有显著的边缘。本文引入生成图像和清晰图像的梯度L1距离作为生成器损失的正则项约束,可以丰富边缘信息和结构信息。梯度算子采用的是Sobel算子中使用的计算方式,梯度图像的计算式:

梯度图像的L1损失为

4.2.3 生成器总损失的优化

生成器的总体损失是条件损失和优化的内容损失总和,其表达式为

其中:实验证明条件损失和内容损失相差100倍左右,所以参数取100。

5 实验结果与分析

5.1 实验数据集的获取及处理

本文使用的数据集是Nah等[14]公开的GOPRO数据集,该数据集是在不同场景下拍摄的一系列连续清晰视频图像累加高速视频帧中的视频帧,来近似模拟现实生活中的运动模糊过程。整个数据集由3214对模糊清晰图像对组成,其中2103对作为训练集,1111对作为验证集。然后对自制的100张扶梯上的行人异常行为模糊图片去模糊,使用改进的Tiny YOLOv3[15]网络对去模糊前后的图像进行检测,比较准确率的变化。

本文对训练的数据进行随机裁剪和缩放、水平翻转等方法进行数据增强,并将清晰图像和模糊图像的像素归一化,送入网络进行训练。

5.2 实验配置

本文实验所用到的电脑配置是Core(TM)i7-7700CPU@3.6 GHz,显卡是Nvidia GeForce GTX 1080,运行内存是8 G。软件平台是Python3.6.3、Win10系统、CUDA8.0、CUDNN6.0、Tensorflow-gpu1.4.0、Opencv3.0。

算法模型框架使用tensorflow框架,网络迭代(epoch)最大设为300,生成器和判别器的初始学习率设为10-4,经过150次迭代后,接下来100轮训练中线性衰减率为0。采用Dropout[16]策略和实例归一化进行训练,块大小(batch size)设置为1,每训练5次判别器,再训练1次生成器。

5.3 实验结果及分析

为检验本文方法对去模糊的有效性,分别使用DeblurGAN原算法和本文方法对GOPRO验证集进行去模糊处理,从视觉上[17]定性分析处理结果,从峰值信噪比(peak signal-to-noise ratio,PSNR,用PSNR表示)和结构体相似性(structural similarity,SSIM,用SSIM表示)两项指标定量对比分析。然后使用对模糊的扶梯异常行为进行去模糊处理,并使用改进的Tiny YOLOv3算法对去模糊前后的图像进行检测,验证去模糊对检测率的提升。

5.3.1 评价指标

采用峰值信噪比(PSNR)、结构体相似性(SSIM)作为评价指标来评估模型,分别定义为

5.3.2 定性分析去模糊结果

同一实验条件下选取GOPRO验证集中比较典型的几个运动模糊图像进行去模糊处理,在DeblurGAN算法、文献[14]、文献[18]和本文算法下的处理结果对比如图8、图9所示。

从图8和图9局部放大图可看出,DeblurGAN原算法重建的图像存在棋盘效应,且边缘细节不够清晰,快速运动的物体还是存在伪影;文献[14]也存在棋盘效应边缘也是模糊、文献[18]恢复图像边缘也不够清晰。本文算法在上采样时使用双线性插值解决了原算法中转置卷积引起的棋盘问题,且使用密集残差块(residual-in-residual dense block)连续记忆机制获取尽可能多的信息,融合全局局部残差信息可以帮助模型获取更丰富细节信息,并在损失函数中增加生成图像和清晰图像的梯度L1损失,所以恢复图像的边缘轮廓更清晰。

5.3.3 定量分析去模糊效果

同一实验条件下将原算法、文献[14](基于深度多尺度卷积神经网络的动态去模糊)、文献[18]和本文算法在GOPRO验证集上的PSNR、SSIM对比结果如表1所示。

表1中两个评价指标的数据是GOPRO验证集上所有图片处理后的均值。

从对比结果可以看出本文方法的PSNR比原算法高出0.94,比文献[14]高出1.59,比文献[18]方法高1.24,这得益于本文方法增加了梯度图像的L1损失。本文算法运行时间和DeblurGAN算法和文献[18]相当,比文献[14]算法快1.28 s。

图8 对比结果。(a) 模糊图像;(b) DeblurGAN方法;(c) 文献[14]方法;(d) 文献[18]方法;(e) 本文算法

5.3.4 改进后的Tiny YOLOv3算法在去模糊图像上的验证

最后本文验证了去模糊算法对改进后的Tiny YOLOv3方法检测准确率的影响,选取100张模糊的扶梯行人异常行为图片组成测试集进行去模糊,检测结果如图10所示。

从图10中可以看出,经过去模糊恢复的图片漏检率有所降低,DeblurGAN算法、文献[14]和文献[18]方法均有所漏检,本文算法处理后的图片边缘细节更丰富,有效改善了漏检的问题,结果如表2所示。

由表2中可以看出去,模糊后召回率相比于模糊图像提高9%,精确率提高8%,召回率比原算法提高5%,比文献[14]提高2%,比文献[18]提高3%,对于检测结果有很大提升。

图9 对比结果。(a) 模糊图像;(b) DeblurGAN方法;(c) 文献[14]方法;(d) 文献[18]方法;(e) 本文算法

表1 不同方法结果对比

图10 检测结果。(a) 模糊图像;(b) DeblurGAN方法;(c) 文献[14]方法;(d) 文献[18]方法;(e) 本文算法

表2 不同方法的对比

6 总 结

本文提出改进的DeblurGAN去模糊算法,在原生成器的头部尾部将7´7卷积替换成3个3´3的卷积,减小参数量的同时增加网络的非线性;使用带连续记忆机制[19]并且融合全局局部残差信息的residual-in-residual dense block代替原算法的基本残差单元,增加密集残差[20]信息有效改善恢复图像的细节信息[21];上采样过程使用先双线性插值再卷积的方式改善了转置卷积[22]引起的恢复图片棋盘格子的问题;并在内容损失中增加生成图像[23]和清晰图像的梯度L1损失,丰富了边缘特征使恢复图像的边缘更清晰。

在GOPRO[14]验证集上进行实验,结果证明PSNR比原算法提高0.94,比文献[14]提高1.59,比文献[18]高1.24,SSIM和检测时间与原算法基本保持一致,检测时间比文献[14]快1.28 s。利用改进的Tiny YOLOv3的算法对去模糊[19]后的扶梯异常行为进行验证,发现去模糊后检测精确率提高8%,召回率提高9%,有助于提高现实场景扶梯上行人异常行为的检测精确度。

[1] Yan H B, Huang L E, Wang P. Motion deblurring from fast railway images[J]., 2019, 41(12): 75–80.

鄢化彪, 黄绿娥, 王鹏. 高速运动的轨道图像去模糊[J]. 铁道学报, 2019, 41(12): 75–80.

[2] Sun J, Cao W F, Xu Z B,. Learning a convolutional neural network for non-uniform motion blur removal[C]//, Boston, 2015: 769–777.

[3] Nimisha T M, Singh A K, Rajagopalan A N. Blur-invariant deep learning for blind-deblurring[C]//, Venice, 2017: 4762–4770.

[4] Ramakrishnan S, Pachori S, Gangopadhyay A,. Deep generative filter for motion deblurring[C]//, Venice, 2017: 2993–3000.

[5] Shao W Z, Liu Y Y, Ye L Y,. DeblurGAN+: Revisiting blind motion deblurring using conditional adversarial networks[J]., 2020, 168: 107338.

[6] Wang X T, Ke Y, Wu S X,. ESRGAN: enhanced super-resolution generative adversarial networks[C]//Munich, 2018: 6379.

[7] Sun J F, Zhu Y T, W K. Motion deblurring based on DeblurGAN and low rank decomposition[J]., 2020, 48(1): 32–41, 50.

孙季丰, 朱雅婷, 王恺. 基于DeblurGAN和低秩分解的去运动模糊[J]. 华南理工大学学报(自然科学版), 2020, 48(1): 32–41, 50.

[8] Yu J, Chang Z C, Xiao C B,. Blind image deblurring based on sparse representation and structural self-similarity[C]//, New Orleans, 2017: 1328–1332.

[9] Tang S, Gong W G, Zhong J H. Sparsity and smoothing multi-regularization constraints for blind image deblurring[J]., 2013, 24(5): 1143–1154.

唐述, 龚卫国, 仲建华. 稀疏平滑特性的多正则化约束图像盲复原方法[J]. 软件学报, 2013, 24(5): 1143–1154.

[10] Zhao S Y, Li J W. Generative adversarial network for generating low-rank images[J]., 2018, 44(5): 829–839.

赵树阳, 李建武. 基于生成对抗网络的低秩图像生成方法[J]. 自动化学报, 2018, 44(5): 829–839.

[11] Li C, Wand M. Precomputed real-time texture synthesis with markovian generative adversarial networks[C]//, Amsterdam, 2016: 702–716.

[12] Gulrajani I, Ahmend F, Arjovsky M,. Improved training of Wassertstein GANs[EB/OL]. (2017-12-25)[2018-08-15]. https://arxiv.org/pdf/1704.00028.pdf.

[13] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. (2015-04-10) [2018-08-17]. https://arxiv.org/pdf/1409.1556.pdf.

[14] Nah S, Kim T H, Lee K M. Deep multiscale convolutional neural network for dynamic scene deblurring[C]//, Honolulu, 2017: 257–265.

[15] Redmon J, Farhadi A. YOLOv3: An Incremental Improvement[Z]. arXiv: 1804.02767, 2018.

[16] Srivastava N, Hinton G, Krizhevsky A,. Dropout: a simple way to prevent neural networks from overfitting[J]., 2014, 15(1): 1929–1958.

[17] Zhao Z S, Gao H X, Sun Q. Latest development of the theory framework,derivative model and application of genera-tive adversarial nets[J]., 2018, 39(12): 2602–2606.

赵增顺, 高寒旭, 孙骞. 生成对抗网络理论框架、衍生模型与应用最新进展[J]. 小型微型计算机系统, 2018, 39(12): 2602–2606.

[18] Wu D, Zhao H T, Zheng S B. Motion deblurring method based on DenseNets[J]., 2020, 25(5): 890–899.

吴迪, 赵洪田, 郑世宝. 密集连接卷积网络图像去模糊[J]. 中国图象图形学报, 2020, 25(5): 890–899.

[19] Zhang Y L, Tian Y P, Kong Y,. Residual dense network for image super-resolution[C]//, 2018: 2472–2481.

[20] Qin X J, Ke L L, Fan Y L,. Improved hyper-laplacian constraint single image deblurring algorithm[J]., 2018, 39(5): 1097–1102.

秦绪佳, 柯玲玲, 范颖琳, 等. 改进的超拉普拉斯约束的单幅图像去模糊算法[J]. 小型微型计算机系统, 2018, 39(5): 1097–1102.

[21] Zhou L H, Min W D, Lin D Y,. Detecting motion blurred vehicle logo in IoV Using Filter-DeblurGAN and VL-YOLO[J]., 2020, 69(4): 3604–3614.

[22] Truong N Q, Lee Y W, Owais M,. SlimDeblurGAN-based motion deblurring and marker detection for autonomous drone landing[J]., 2020, 20(14): 3918.

[23] Kupyn O, Martyniuk T, Wu J R,. DeblurGAN-v2: deblurring (Orders-of-Magnitude) faster and better[C]//, Seoul, 2019: 8877–8886.

Deblurring algorithm based on pedestrian abnormal behavior generation countermeasure network

Ji Xunsheng, Teng Bin*

School of Internet of Things Engineering, Jiangnan University, Wuxi, Jiangsu 214122, China

Algorithmic framework based on cGAN

Overview:In a complex environment, such as motion, defocusing and other noise, the image quality will become worse, and it will increase the difficulty of detection and recognition. Traditional deblurring methods usually estimate the motion blur kernel according to the prior assumption of clear images, and then convolute with the blurred image and remove the blur with additive noise. However, the estimation of motion blur kernel is complex, and the prior assumption of a clear image is not generalized. As a result, it is difficult to achieve the goal. Deep-learning based motion blur removal methods are constantly proposed. In order to solve the problem of motion blur in abnormal behavior detection, a fast motion blur removal algorithm, based on DeblurGAN, is proposed. In order to further improve the detail clarity of deblurring and solve the chessboard effect of the original algorithm (inserting pixel 0 into each row and column of the feature map pixel which causes the reconstructed image pixels unevenly distributed). The transposed convolution is discarded. Firstly, bilinear interpolation is used to expand the size of the feature map which needs upsampling. On the premise of the same receptive field, three 3´3 convolutions are used to replace the 7´7 convolution in the original generator. As a result, the parameter is reduced and the nonlinearity of the network is increased. In order to solve the layered feature of the original algorithm due to the loss of residual cells, the residual unit is replaced by a residual density block (RRDB) in the original algorithm. The RRDB is then scaled to 0~1 to avoid unstable training. As a result, the details of the restored image are enriched. In addition, in order to solve the problem that the edge of the reconstructed image is not clear, the L1 loss of gradient images is added to the loss function of the original generator. The edge information of the image is added to make the reconstructed image edge more obvious. The effectiveness of this method is verified by experiments and is compared with other similar algorithms, such as DeblurGAN. The PSNR of the optimized model is improved by 0.94. The structure similarity and speed are equivalent. The chessboard lattice problem in the reconstructed image is solved. The edge information is more prominent. The performance of the model is better than that other related algorithms. The improved algorithm of Tiny YOLOv3 is used to verify the abnormal behavior of the escalator after deblurring. It is found that the detection of accuracy and recall rate are improved by 8% and 9% respectively after deblurring, which is helpful to improve the detection accuracy of abnormal behavior of pedestrians on the escalator in the real scene.

Ji X S, Teng BDeblurring algorithm based on pedestrian abnormal behavior generation countermeasurenetwork[J]., 2021, 48(6): 210009; DOI:10.12086/oee.2021.210009

Deblurring algorithm based on pedestrian abnormal behavior generation countermeasure network

Ji Xunsheng, Teng Bin*

School of Internet of Things Engineering, Jiangnan University, Wuxi, Jiangsu 214122, China

To solve the problem of motion blur in abnormal behavior detection, a fast motion blur removal algorithm, based on DeblurGAN, is proposed. Three 3×3 convolutions are used to replace the 7×7 convolution in the original generator. The transposed convolution is discarded. Firstly, bilinear interpolation is used to expand the size of the feature map which needs upsampling. The residual unit is replaced by a residual density block (RRDB) in the original algorithm. The RRDB is then scaled to 0~1 to avoid unstable training. The L1 loss of gradient images is added to the loss function of the original generator. As the DeblurGAN reconstructed image edge is often not clear enough, the edge information of the image is added to make the reconstructed image edge more obvious. The effectiveness of this method is verified by experiments and is compared with other similar algorithms like DeblurGAN. The PSNR of the optimized model is improved by 0.94. The structure similarity and speed are equivalent. The chessboard lattice problem in the reconstructed image is solved. The edge of detail is more prominent. The performance of the proposed model is better than that of other related algorithms.

generate countermeasure network; motion blur; dense residual block; image reconstruction

吉训生,滕彬. 基于生成对抗网络的行人异常行为图像去模糊算法研究[J]. 光电工程,2021,48(6): 210009

Ji X S, Teng BDeblurring algorithm based on pedestrian abnormal behavior generation countermeasure network[J]., 2021, 48(6): 210009

TP751;TP391

A

10.12086/oee.2021.210009

2021-01-07;

2021-05-12

国家自然科学基金资助项目(61771223)

吉训生(1963-),男,博士,教授,主要从事信号处理的研究。E-mail:jixunsheng@163.com

滕彬(1995-),男,硕士研究生,主要从事异常行为检测的研究。E-mail:2660087950@qq.com

National Natural Science Foundation of China (61771223)

* E-mail: 2660087950@qq.com

猜你喜欢
残差梯度卷积
基于双向GRU与残差拟合的车辆跟驰建模
一个改进的WYL型三项共轭梯度法
基于3D-Winograd的快速卷积算法设计及FPGA实现
基于残差学习的自适应无人机目标跟踪算法
一种自适应Dai-Liao共轭梯度法
基于递归残差网络的图像超分辨率重建
从滤波器理解卷积
一类扭积形式的梯度近Ricci孤立子
基于傅里叶域卷积表示的目标跟踪算法
平稳自相关过程的残差累积和控制图