视频质量增强模型加速算法

2021-11-28 10:48:50杨文哲徐迈白琳
中兴通讯技术 2021年1期

杨文哲 徐迈 白琳

摘要:提出了一种应用于视频质量增强算法的动态结构性剪裁算法Maskcut,它可以有效提高基于深度学习的视频质量增强算法的运行速度。Maskcut是一种通用的剪裁思路,支持绝大多数的基于卷积神经网络(CNN)深度学习网络模型的剪裁加速。基于原模型中已经训练好的参数数据,Maskcut使用一种针对剪裁加速的二次训练策略来进一步微调参数,从而在保证模型有效性损失不大的同时,缩短模型运行时间。以一种先进的视频质量增强算法——多帧质量增强2.0(MFQE 2.0)为目标,Maskcut剪裁后可以快速达到峰值信噪比(PSNR)指标损失低于1%、时间缩短10%以上的加速指标。

关键词:模型加速;图像质量增强;结构性剪裁

Abstract: Maskcut, a dynamic structural clipping algorithm for video quality enhancement is proposed, which can effectively improve the speed of video quality enhancement algorithm based on deep learning. Maskcut is a general tailoring idea that supports most of the tailoring acceleration based on the deep learning network models for convolutional neural networks (CNN). Based on the trained parameter data in the original model, the secondary training for tailoring acceleration is carried out to further fine-tune the parameters. With an advanced video quality enhancement algorithm, the multi-frame quality enhancement 2.0(MFQE 2.0) as the goal, the peak signal-to-noise ratio (PSNR) index is less than 1% and the time is shortened by more than 10% after Maskcut clipping.

Keywords: model acceleration; image quality enhancement; structural tailoring

隨着多媒体及5G时代的到来,视频传输的速率和带宽得到了有效提高,人们对于高清视频的需求也变得越来越高。但是由于许多拍摄软硬件条件不高或多层多级中转压缩过程复杂等原因,使得视频质量不够清晰,因此高清视频仍有着很大的提升空间。目前,针对图像视频质量增强的算法,大多是基于深度学习的庞大计算量。这些算法在应用时往往存在参数冗余、计算量大、时间耗费多等问题,这也是近两年来深度学习领域需要着重解决的问题。目前大量的优化算法大多是基于浮点运算次数(FLOPs)的仿真工作。面对实际问题和模型,如果没有底层的硬件支持和推理加速,很多算法使用时并不能获得理想的加速效果。本文中,我们主要聚焦于实际硬件加速效果,而非理论计算量的改变。……

登录APP查看全文