基于双流BRC3D卷积神经网络的行为识别

臧晶 李博 李红 玉绍康

摘  要：针对C3D网络时间维上的信息抽取单一特点，模型本身存在泛化能力弱等问题，该文基于BN归一化算法改进残差网络结构，并嵌入到C3D网络中，实现了网络结构的优化，保证各个层数据的分布稳定性。引入双流思想，构建了改进的BRC3D卷积神经网络的识别方法。最终在UCF101数据集上进行训练与测试，准确率达到了91.343%。

关键词：残差网络结构  行为识别  UCF101数据集  深度学习

中图分类号：TP391.9                       文献标识码：A文章编号：1672-3791（2021）04（b）-0035-03

Behavior Recognition Based on Dual-stream BRC3D Convolutional Neural Network

ZANG Jing1   LI Bo2  LI Hong 1  yu shaokang1

（1.Shenyang Ligong University， Shenyang， Liaoning Province， 110159 China; 2.Liaoyang Vocational College of Technology， Liaoyang， Liaoning Province， 111000  China）

Abstract： Aiming at the single feature of information extraction in the time dimension of C3D network and the weak generalization ability of the model itself， this paper improves the residual network structure based on BN normalization algorithm， and embeds it into C3D network to realize the optimization of network structure and ensure the distribution stability of data in each layer. An improved BRC3D convolutional neural network recognition method is constructed by introducing the idea of two streams. Finally， training and testing on UCF101 data set， the accuracy rate reached 91.343%.

Key Words： Residual network structure; Behavior recognition; UCF101 data set; Deep learning

目前，人体行为识别在监控、运动分析、智能交互、智能医疗以及故障诊断、智能小区等很多领域得到应用，相关课题有着重要的研究价值[1-3]。其中，对视频中的人体行为进行识别成为计算机视觉领域中研究的热点。

该文对C3D网络结构[4]进行改进，提出了一种基于RC3D网络的行为识别算法[5]，该方法同时提取视频信息中的时间和空间特征，增加BN归一化算法的残差网络改进卷积神经网络中，引入双流思想[6]，得到基于双流BRC3D卷积神经网络的识别算法。

1  双流BRC3D卷积神经网络

1.1 BN归一化算法

（1）沿着通道利用式（1）计算每个批量Bath的均值。

（1）

（2）沿着通道利用式（2）计算每个批量Bath的方差。

（2）

（3）根据（1）和（2）步骤中得到的和，利用式（3）做归一化处理。

（3）

（4）利用式（4）将归一化后的数据加入和变量。

（4）

式中：缩放参数和平移参数参数是模型学习涉及的参数。

1.2 三维残差网络

该文的残差网络[6]获得残差结果的过程具体如下。

（1）运用BN算法实现所有卷积层的输出特征图的标准化处理;（2）同时，将激励函数Relu加入在前两个BN层后面，完成非线性计算;（3）恒等变换处理;（4）再次Relu计算获得残差结果。……