视频帧预测算法探究

刘志超

摘  要：视频预测一直以来都是计算机视觉领域的热点问题，由于其广泛的实用价值和理论价值，引起了研究人员的广泛关注。该文对主流的视频帧预测算法进行了研究，首先介绍了视频预测领域的常见问题，并由基本架构对视频预测算法进行了分类，接下来介绍了该领域常用的数据集并给予评价，最后从视频预测算法的运行流程和最新的论文角度上，总结该领域算法的发展方向。

关键词： 视频帧预测;长短时记忆网络 ;自编码器 ;生成对抗网络;注意力机制;强化学习

中图分类号：TP391      文献标识码：A

文章编号：1009-3044（2021）10-0249-03

Abstract：Video prediction has always been a key issue in the computer vision field.Because of its extensive pratical and theoratical values，the video prediction technique has attracted attentions of many researchers.This paper reviews the main video prediction algorithms.Firstly，this paper introduce the common problems in video prediction，and classify many famous video prediction algorithms according to basic architectures.Then，the common datasets of video prediction are introduced and evaluated.Finally，on the basis of the process of the algorithms and the latest papers，this paper summarize the development of algorithms in this field.

Key words：video prediction; long short-term memory network; autoencoder; generative adversarial net; attention mechanism;  reinforcement learning

视频帧预测（video predictin）是指通过对视频中的历史图像帧序列进行学习，从而生成未来的图像帧。在自动驾驶技术日趋成熟的今天，能够预测图象的未来帧序列变得越来越重要。目前视频预测已经在无人驾驶、机器人导航、人机交互等广泛的应用领域取得了一定的成功，如预测未来的活动和事件[1]、目标的位置预测、交通中行人的轨迹预测、自动驾驶等。

轨迹预测是视频中运动预测的关键，预测系统不仅需要知道目标周围对象的当前状态，还需要知道它们未来可能的状态。在视频预测研究兴起之前，物体运动轨迹预测更加受学术界关注。二者的区别与联系在于：运动预测一般是指从静态图像或视频前几帧中推断出人体动作、物体移动轨迹等动态信息;而视频预测是从静态图片或视频前几帧中直接预测未来图像。目前的，针对视频预测算法的常用评价指标为均方误差（MSE）、绝对误差（MAE）、峰值信噪比（PSNR）和结构相似性（SSIM）。……