基于双频段FMCW雷达的人体动作识别*

屈乐乐，张丁元，杨天虹，孙延鹏

(沈阳航空航天大学 电子信息工程学院,沈阳 110136)

0 引 言

人体动作识别技术近年来被广泛应用于医疗健康、辅助驾驶、安保防护等领域。目前人体动作识别技术都是基于摄像机所拍摄的图像手段来完成[1-2]，这种方式易受到周围光线环境影响，并且在避免隐私侵犯方面是一个比较大的短板。近年来随着雷达技术的不断发展，基于雷达传感器的人体动作探测受到越来越多的关注。因为雷达传感器不易受到周围光线环境以及视野因素的影响，并且极大地提高了观测对象的隐私保护程度，所以将雷达传感器应用在人体动作识别领域具有广泛的应用前景[3-4]。

雷达对人体探测的核心思想在于从雷达所收集到的回波数据中提取不同动作的特征进行识别，其中应用最为广泛的是微多普勒特征[5-6]。在此基础上有研究人员通过提取人体动作回波数据的微多普勒时频谱图特征实现了人体动作识别[7-9]，但是仅从微多普勒时频谱图提取特征进行动作识别时识别结果准确率往往达不到预期效果。也有研究人员将深度学习应用于人体动作识别中[10-12]，虽然识别准确率得到提高，但深度学习要求数据量巨大，训练时间过长，在面对训练样本数量不足时容易产生过拟合。有研究人员提出将微多普勒时频谱图像特征结合雷达回波数据的其他特征组成联合特征集进行人体动作识别:文献[13]针对时频分析结果提取其有效面积的频率上下限与功率密度及能量上下包络并与距离多普勒轨迹作为动作的联合特征进行动作识别；文献[14]提出从微多普勒时频图中选取频率间隙和距离多普勒图中选取高功率区域的横纵宽度比值作为联合特征进行人体动作识别。但文献[13-14]都需要基于人工提取预设特征得到特征向量进行动作识别，过程比较繁琐。文献[15]在距离多普勒图像域提取动态轨迹进行人体动作识别，但由于缺少了最典型的微多普勒特征，因此识别效果不理想。文献[16]则提出采用微多普勒时频谱图和节奏速度图分别进行特征提取进行人体步态识别，文献[17]将微多普勒频谱图的质心、带宽、熵与奇异值分解后求得的统计量作为特征进行识别，但文献[16-17]未对目标回波数据的距离时间图像和距离多普勒图像进行特征提取，识别准确率不高。

针对上述问题，本文提出一种基于双频段调频连续波(Frequency Modulation Continuous Wave,FMCW)雷达系统的人体动作识别方法，通过双频段FMCW雷达系统采集多个人体动作回波数据实现人体动作识别。所提方法首先对回波数据进行预处理分别得到距离时间、距离多普勒和微多普勒时频谱图像，接着运用主成分分析(Principal Component Analysis,PCA)对三种图像分别进行降维提取特征，然后对降维后的特征进行融合得到特征集，最后利用支持向量机(Support Vector Machine,SVM)分类器对人体动作进行训练和识别。

1 基于双频段FMCW雷达的人体动作识别

基于双频段FMCW雷达的人体动作识别方法主要流程包含回波数据预处理、特征提取与特征融合、分类器训练与测试等，如图1所示。

图1 人体动作识别整体流程图

1.1 回波数据预处理

FMCW雷达对目标回波数据进行预处理可以分别得到距离时间图像、距离多普勒图像与微多普勒时频谱图像。

1.1.1 距离时间图像

将FMCW雷达回波数据表示为二维矩阵S(n,m)，其中n=0,1,…,N-1，m=0,1,…,M-1，N和M分别是雷达在一个调频周期内的采样点数和总的调频周期个数。对矩阵S(n,m)的每一列进行离散傅里叶变换(Discrete Fourier Transform,DFT)得到

(1)

式中：变量k=0,1,…,N-1包含探测目标距离雷达天线的距离信息。对矩阵R(k,m)进行动目标显示滤波预处理然后取模值得到距离时间图像，如图2所示。图2(a)与图2(b)分别为K频段雷达与C频段雷达对应行走动作的距离时间图像，图像的纵轴为距离轴，图像的每一列对应一维目标距离像；图像的横轴为时间轴，0～3 s内所有的距离像信息都按时间前后排列在该轴上。从图2中可以清晰地看到被观测对象与雷达天线之间的距离随时间变化的信息。

图2 距离时间域图像

1.1.2 距离多普勒图像

对式(1)中的矩阵R(k,m)的每一行进行DFT得到

(2)

式中：变量l=0,1,…,M-1为目标的多普勒频率信息。对矩阵V(k,l)取模值可得到距离多普勒图像，如图3所示。图3(a)与图3(b)分别为行走动作对应的K频段与C频段距离多普勒图像，图像的纵轴为距离轴，横轴为多普勒频率轴。该域图像反映了目标在每个距离单元所对应的多普勒频率信息。

图3 距离多普勒图像

1.1.3 微多普勒时频谱图像

FMCW雷达距离分辨率ΔR为

(3)

式中：B为FMCW雷达的信号带宽，c0为电磁波在空气中的传播速度。对根据式(1)得到的距离时间图像中感兴趣的距离单元信号进行相加得到

(4)

式中：k1与k2为所设置距离门的最小和最大限制。实验时人体目标距离雷达的范围为0～4.5 m，当处理K频段雷达回波数据时，距离分辨率为0.3 m，k1与k2取值分别为0与15；当处理C频段雷达回波数据时，距离分辨率为0.375 m，k1与k2取值分别为0与12。对D(m)进行短时傅里叶变换(Short-Time Fourier Transform,STFT)得到

(5)

式中：g(m)为汉明窗函数；p为窗函数移动的索引值，窗函数每次移动时对应的数据重叠率为95%。根据T(p,q)可以得到微多普勒时频谱图像，如图4所示。图4(a)与图4(b)分别为行走动作的K频段与C频段雷达的微多普勒时频谱图像，横轴单位为时间，该时间所指的是窗函数g(m)沿着时间轴移动所对应的时间，也就是式(5)中的变量p；纵轴表示多普勒频率，为式(5)中的变量q。

图4 微多普勒时频谱图像

1.2 基于PCA的特征提取与特征融合

PCA不仅可以通过计算机自动提取特征，避免人工手动筛选特征导致体征提取不全从而影响识别准确率，而且计算量小便于实时处理。经过回波数据预处理后每个人体动作数据会对应6个不同维度的图像信息，采用PCA来进行特征提取处理。首先利用所有动作的6个不同维度图像分别构建出6个矩阵Xn(n=1,2,3,4,5,6)，矩阵每一行是每个动作样本对应维度图像矩阵的行向量展开。然后对每个矩阵分别按行进行划分，随机抽取一定比例的行向量组成测试数据矩阵XnTe，余下的为训练数据矩阵XnTr，最后对6个训练数据矩阵分别进行PCA降维处理，计算过程如下：

(3)对协方差矩阵进行特征分解，得到特征值与投影特征向量；

(4)对特征值从大到小排序，选取其中最大的K个特征值将其所对应的投影特征向量以列向量形式排列到一个矩阵An中；

当采用PCA得到降维的训练数据特征矩阵后进行多维度特征融合，如图5所示。将K频段和C频段FMCW雷达回波数据得到的不同域图像分别经过PCA降维后，选取前30个相关度最大的维度为降维后特征向量。图中的黄色部分与蓝色部分分别为根据K频段雷达数据与C频段雷达数据最后所得到的特征向量。之后在特征层将不同频段雷达对应的降维特征向量组合成新的特征向量，进而根据多个实验样本所得特征向量组成特征矩阵。为了保证测试数据在PCA中与训练数据的PCA投影维度一致，需要将6个测试数据矩阵X1Te～X6Te中心化并与之前得到的An对应相乘后得到降维之后的特征矩阵YnTe，然后采用图5所示的方法进行特征融合得到特征向量。

图5 特征融合示意图

1.3 SVM分类器

经过上述步骤得到特征向量后，采用SVM作为分类器进行分类，判别函数为

(6)

式中：D为支持向量个数；wi与b分别为权值与偏置；K(x,xi)为核函数，

(7)

式中：参数σ=1。采用“一对一”方法进行五分类，在训练时对五类特征分别两两配对输入到10个分类器中，每个分类器用于两类特征分类。在测试过程中将每组测试数据对应的特征向量分别输入所有分类器中，综合所有分类器结果，取这些结果中数目最多的一类为该组数据的最终分类结果。

2 实测数据结果分析

2.1 实验场景

实验采用双频段FMCW雷达系统，该系统包括两部FMCW雷达，分别工作于K频段与C频段。双频段FMCW雷达系统的具体参数如表1所示。

表1 双频段FMCW雷达系统参数

实验所用双频段FMCW雷达系统如图6所示，图中右侧为C频段雷达收发天线，左侧为K频段雷达收发天线，雷达距离地面高度为0.9 m，收发天线并列放置并面向同一方向对同一名观测对象同时进行探测。雷达系统对人体所做不同动作进行回波数据采集，采集数据的对象为3男1女共4人，全部为在校学生,编号为1～4。每次数据收集探测目标只有1人。当数据采集开始时，观测目标对象会从距离雷达3.2 m处开始活动，动作为5种，分别为蹲起、跳跃、弯腰、行走与坐下，对于每种动作每个对象采集20次，每次采集时间为3 s，记录总组数为400组。

图6 实验设备

2.2 单频段与双频段FMCW雷达系统的识别准确率

为了检验双频段FMCW雷达系统对人体动作的识别性能，进行了3组试验,所用数据分别为K频段FMCW雷达、C频段FMCW雷达与双频段FMCW雷达系统的回波数据。每次实验在每一类动作对应的总数据样本中随机抽取75%共即300组数据用于训练，余下的25%共即100组数据进行测试。实验过程采用四折交叉验证方法。

5个动作分别对应的距离时间、距离多普勒与微多普勒时频谱图像如图7所示。三组实验识别结果的混淆矩阵分别如表2～4所示。

图7 不同动作对应的双频段FMCW雷达距离时间图像、距离多普勒图像与微多普勒时频谱图像

表2 单一K频段FMCW雷达识别混淆矩阵

表4 双频段FMCW雷达识别混淆矩阵

从表2～4可以看出，采用双频段FMCW雷达系统在训练数据占总样本75%的情况下的平均识别准确率为95.75%，识别效果对比只运用单一K频段(93%)或C频段FMCW雷达(92%)有所提高。

为了进一步说明双频段雷达系统在人体动作识别中的优势，在训练数据占比不同条件下，对利用双频段FMCW雷达系统得到的识别准确率与单一K频段和单一C频段雷达识别准确率进行对比，结果如图8所示。

图8 单一雷达与双频段雷达识别准确率对比图

从图8中可以看出，随着训练数据占比越高，训练样本数目越多，总体的识别准确率越高；在训练样本比例相同情况下，采用双频段雷达的识别结果优于单一频段雷达识别结果。这是因为基于双频段雷达探测不同动作得到融合后的联合特征比基于单一雷达回波提取到的特征有更大的区分度，进而实现更好的识别效果。

2.3 多特征融合识别准确率对比

为评估多特征融合在人体动作识别中的优势，基于双频段FMCW雷达系统对文献[7-9]所采用的微多普勒特征、文献[14]所采用的微多普勒特征与距离多普勒特征组成的联合特征作为特征集与本文所提的基于三种特征组成的特征集进行识别结果进行对比，如图9所示。

图9 单一特征与多特征融合识别准确率对比图

从图9中可以清楚地看出，采用三种不同特征组成的特征集进行识别的效果要优于其余两种情况，在训练集占比相同的情况下普遍具有更高的识别正确率。因为不同动作在不同特征维度之间所体现出的区分度不同，综合三种维度所提取到的特征集比单一维度特征集具有更大的可区分性，进而可以实现更好的识别效果。

3 结束语

本文提出了一种双频段FMCW雷达多维特征融合识别方法用于人体动作识别。基于实测雷达数据处理的结果表明，采用双频段FMCW雷达从不同维度进行特征提取和融合可以提高人体动作识别的准确率，本文所提的识别方法识别准确率可达到96.25%。在下一阶段工作中，将对运动人体目标的连续性动作识别进行研究，进一步提高该方法的实用性。