基于低秩行为信息和多尺度卷积神经网络的人体行为识别方法

（长江师范学院电子信息工程学院，重庆 408100）

0 引言

人体行为识别是利用计算机视觉技术处理视频内容的一个重要研究方向［1］，是让机器学会“察言观色”的第一步，在安防、人机交互和视频检索等领域具有重要的研究和应用价值。近年来，越来越多的学者和机构投入到这项工作的研究当中，他们尝试使用各种方法来实现基于计算机视觉的行为识别技术，并取得了不错的效果，具体的方法和文献将在第1 章相关工作里详细分析。这些行为识别方法可大致分为两类：一是基于传统分类方法的行为识别技术；二是基于深度学习的行为识别技术。结合这两类方法的优点，当前行为识别技术主流的研究方向是使用人工提取特征结合深度学习的方法［2-3］，然而由于人体行为本身的复杂性，且人体行为容易受到复杂背景、遮挡、光线等环境因素的干扰，目前的特征提取方法大多步骤繁琐，容易产生误差传递，且对动作相对缓慢或静止的行为很难有效建模，此外单一尺度的卷积神经网络不能从多角度充分描述人体行为特征，不利于最终的行为识别。

针对这些问题，本文提出了一种基于低秩行为信息（Lowrank Action Information，LAI）和多尺度卷积神经网络（Multiscale Convolutional Neural Network，MCNN）的人体行为识别方法。本文以包含人体行为的视频序列为研究对象，首先提取行为视频中的低秩行为信息（LAI），相较光流特征，LAI 不需要相邻帧之间位移要比较小和人体目标在不同帧间运动时其亮度不发生改变等假设，且能很好地捕获视频中人体行为的时空信息。……