基于时空压缩特征表示学习的毫米波雷达手势识别算法

韩 崇 韩 磊 孙力娟② 郭 剑②

①(南京邮电大学计算机学院 南京 210003)

②(江苏省无线传感网高技术研究重点实验室 南京 210003)

1 引言

手势识别作为一种自然直观的人机交互方式，是人机交互中最常用、最有效的方法之一[1]。现有手势识别技术有很多种，如基于图像视觉技术、基于可穿戴设备技术、基于生物信号技术以及基于雷达探测技术。基于图像视觉的手势识别中一些研究人员利用微软公司的Kinect深度体感摄影机进行了手势识别的相关研究[2–4]。然而，基于图像视觉的手势识别方法不能在非视线、光线条件差或被遮挡的情况下工作。同时这种方法还有一些隐私和功耗的问题。基于可穿戴设备的手势识别通过穿戴传感设备捕获手势运动的变化[5]，常用的信号有肌电图、压力、加速度。但是，这类方法只有用户佩戴传感器时才能起作用。基于生物信号的手势识别利用眼动、脑电信号、肌电信号等生物信号经过处理进行手势识别处理，现有方法主要利用肌电图(ElectroMyoGram, EMG)[6]来进行手势分类识别。但是，基于生物信号的手势识别不具有普适性，用户的生物信号都不尽相同，另外基于生物信号的手势识别方法也需要佩戴相应设备，造成使用不便。

随着毫米波通信和雷达技术的发展，使用毫米波雷达进行无接触式人机交互[7]逐渐引起了相关研究者的关注。以毫米波雷达的方式进行手势识别的优点尤为突出[8]：(1)雷达信号不受光照环境的影响；(2)数据信号是射频信号，具有隐私安全性；(3)毫米波雷达具有能耗低、体积小的特点，这为嵌入到便携式设备中提供了可能。

基于毫米波雷达的手势识别作为新兴技术，克服了传统手势识别方法的诸多问题，已经得到了一些实际应用案例，最具代表性的是谷歌Touchstone团队的Soli项目[9]通过自制毫米波雷达芯片，在芯片体积、功耗以及算法效率上进行优化，并初步应用于Google Pixel 4系列手机中，但是由于各种原因，Pixel后续版本中相关功能被取消了。现有关于毫米波雷达手势识别研究已经取得了很多的成果，但是基于毫米波雷达硬件，例如信号回波和垂直/水平天线等特征，在手势信息的利用度[10]、手势动作的连贯性[11]、雷达信号角分辨率利用等方面还有待改进的问题。

基于此，本文基于调频连续波(Frequency Modulated Continuous Wave, FMCW)毫米波雷达平台，利用其高距离分辨率、天线尺寸小、功耗低的优点进行手势分类，针对现有手势识别研究中的数据预处理和特征利用问题，面向手势识别应用，提出一种用于毫米波雷达手势识别的时空压缩特征表示和学习方法。本文方法主要包括3个步骤：首先，对接收到的FMCW回波反射信号距离-多普勒图进行静态干扰去除和动目标点筛选，减少杂波对手势信号的干扰，同时大大减少数据量的计算；然后，对处理过的距离-多普勒图进行压缩，利用动目标点的主导速度来表示手势的运动特征，实现多维特征的压缩映射，并不丢失手势运动的关键特征信息；最后设计了一个单通道的卷积神经网络来学习和分类多维手势特征信息在多用户和多位置的手势场景。本文方法主要使用了距离多普勒时间图特征(Range Doppler Time Image, RDTI)，因此下文中本文方法就称为RDTI方法。本文的主要贡献如下：

(1) 利用特征预处理，进行静态干扰去除和动目标点筛选，有效凸显手势信号和减少无效点的计算，准确提取手势的目标位置；

(2) 提出一种基于手势时空运动模型的手势识别算法，针对单一特征手势识别精度不高、多维特征多流网络的识别模型复杂的问题，提出手势时空压缩算法，为了利用距离、多普勒和时间信息，在距离-多普勒特征图上利用手势主导速度来表示手势目标的频率响应实现空间上的压缩，并将主导速度信息映射到距离-时间图上实现时间上的压缩，构成手势时空压缩特征图。针对此特征并设计了一种轻量级网络，在保证了准确率的同时，简化了算法和网络模型，易于嵌入到便携式设备中。

本文其余章节安排如下：首先，第2节回顾手势识别的相关工作；第3节主要介绍雷达的相关知识以及手势特征的提取原理；第4节对手势的信号模型进行预处理和特征提取，获得压缩的手势时空运动图用来表示手势的时空运动；第5节给出手势识别中基于压缩的手势时空特征的实验对比结果和分析；第6节是本文的总结。

2 相关工作

基于毫米波雷达信号的手势识别当前采用的主要方法是利用雷达设备采集手势信号，然后通过信号处理提取手势特征，最后通过机器学习或深度学习的方法进行手势分类[12]。那么如何对数据进行预处理，选用什么样的手势特征的提取，设计何种分类算法，对最终的手势识别率都有一定的影响，同时也是手势识别技术研究和应用的关键。根据雷达手势识别的处理过程，分别对基于雷达的手势信号处理和基于深度学习的特征提取两个方面进行研究现状分析。

2.1 基于雷达的手势特征处理研究现状

在雷达回波信号手势特征处理方面，Zhang等人[10]采用5.8 GHz雷达采集手势信号，利用短时傅里叶变换和连续小波变换两种时频分析方法，对雷达接收到的信号进行分析。但是，该工作中的雷达信号仅仅提取时频信息，无法获取到手势更丰富的信息，对一些微动手势、易混淆手势的识别效果不佳。Molchanov等人[11]通过2维快速傅里叶变换(2 Dimensions Fast Fourier Transform, 2D-FFT)得到包含手势距离和速度信息的距离-多普勒图(Range-Doppler Map, RDM)来表征手势。为了更好地利用手势的多维特征，Sun等人[13,14]使用多特征编码器来编码手势关键点的5D特征，其中关键点为距离-多普勒图中幅度最大，然而人工选择的关键点容易受到动态干扰，很难具有普适性，难以适应复杂的场景。文献[15,16]基于77 GHz毫米波雷达，建立手势运动模型来追踪手势的运动，对手势模型中的最佳反射点提取多普勒-时间特征图、垂直角度-时间图、水平角度时间图，然后基于3通道卷积神经网络 (Convolutional Neural Networks,CNN)学习特征并进行手势分类，该方法在下文中称为通道平均的多普勒时间图加水平角度时间图加垂直角度时间图方法(Channel Agerage - Doppler Time Image + Horizontal Angle Time Image +Vertical Angle Time Image, CA–DTI+HATI+VATI)。由于毫米波雷达平台的角度分辨率不高，因此该方法提取的角度特征对微动作手势的表示能力有一定的限制。

2.2 基于深度学习的特征提取研究现状

为了有效地对手势特征进行提取，Karpathy等人[17]提出了使用CNN提取各帧图像的特征。CNN可以提取和保留每一帧图像中的手势特征，并对手势进行分类，但没有考虑帧间的相干性信息。基于此问题，Tran等人[18]提出了3维卷积来替代2维卷积，由此生成的3维卷积神经网络(3 Dimensions Convolutional Neural Networks, 3D-CNN)来提取多帧连续信息。由于卷积核是单一的，提取的特征不足以完全有效地表示整个手势运动且3D-CNN使得模型变得复杂，不易于嵌入到便携式设备中。为了克服3D-CNN的不足，Wang等人[19]采用长短期记忆网络(Long Short-Term Memory, LSTM)来提取手势时间信息，但该工作采用多流网络融合来提取手势的时间信息，增加了网络的开销，难以做到实时性。

本文提出基于FMCW雷达的手势识别RDTI方法，考虑改善采用多普勒雷达只能测量单个运动物体引起的多普勒频移，多根手指的相互协调动作会使多普勒频移特征重叠在一起的问题。使用FMCW雷达的高距离分辨率特性将不同范围的多个手势进行分离，从而提高手势识别精度。另外本文针对单一特征手势识别精度不高、多维特征多流网络的识别模型复杂的问题，提出一种基于时空压缩特征图的手势识别算法，在保证了准确率的同时，简化了算法和网络模型，易于嵌入到便携式设备中做到实时的手势识别。

3 毫米波雷达信号处理相关原理

本文基于毫米波雷达平台采用发射FMCW信号接收回波的方式，以测量距离、角度和速度。FMCW体制雷达的信号为线性调频脉冲信号，随时间变化频率呈线性增加，下面介绍其测距、测速、测角原理。

3.1 测距原理

上述流程即是对一个线性调频信号chirp的处理过程，对连续多个chirp进行相同的处理然后拼接成一帧数据。式(4)中距离-FFT结果显示了不同范围内接收到的频率响应。图1是手势信号处理的原理图，其中图1(a)反映了对原始信号进行距离-FFT处理后的结果。由于毫米波雷达平台厘米级的距离分辨率，距离测量精确，可以检测手指间的位置，从而能够分辨微小动作。

3.2 测速原理

通过对每个chirp信号使用傅里叶变换，将会产生一个个具有不同的分离峰值的频谱，每个峰值表示在特定距离处存在物体。如果速度不同的多个运动手指在测量时距离相同，将无法区分，因此需要进一步提取每个chirp信号同一距离下的相位做FFT，在同一距离下区分速度不同的多个目标。运动速度V的目标在相邻的两个距离-FFT中应该有不同的相位，这与目标在一个chrip时间内运动的距离V×Tc经过做相位FFT后，就可以得到每个目标的相位差ω，进而得到速度不同的目标，运动速度V 表示为

其中，λ为波长，为了同时使用距离和速度来区分多个手指之间的位置，沿着距离-FFT列进行另一个FFT即多普勒-FFT，如图1(a)所示，以显示同一距离下多个手指的不同速度。图1(b)的不同颜色的索引位置显示了两个速度相同的目标。

3.3 测角原理

距离测量只给出手势在射频信号视距中的距离，进一步本文使用信号达到角(Angle Of Arrival, AOA)来描绘目标在空间笛卡儿坐标系中的确切位置。利用FMCW雷达的多个接收天线推导出的AOA为

其中，dIR是相邻接收天线之间的距离，为了进一步区分手指在距离-多普勒域中的重叠，在所有接收信道上执行第3次FFT即角度-FFT。例如，在图1(c)上应用角度-FFT后，可以捕获多个目标具有相同的距离和速度的AOA。

图1 手势信号处理原理图

基于毫米波雷达平台进行手势识别时，利用手势的角度信息作为特征识别，往往会因为硬件设备角度分率的不足，导致对微小手势的识别效果会很差。硬件设备的距离分辨率和多普勒分辨率相比之下就会精确很多，在进行手势特征提取时，可以准确提取到微小手势的变化，因此本文主要基于距离-FFT、多普勒-FFT高分辨率的特点，提取手势运动的时间、距离、多普勒信息，构建一种压缩的手势时空运动特征，以提高基于毫米波雷达平台的手势识别精度。

4 基于手势时空压缩特征的手势识别算法

4.1 整体框架

本文手势识别系统的整体框架可以分为毫米波雷达系统、原始数据处理、手势时空压缩特征提取、CNN分类4个部分。系统整体框架如图2所示，首先对3发4收的毫米波雷达进行手势信号采集，得到12通道的手势数据，然后对手势数据进行预处理，主要包括距离维度处理和多普勒维度处理，处理后得到距离-多普勒特征图，此时需要进一步的雷达信号处理，主要包括静态干扰去除和动目标点筛选，处理后的距离-多普勒图已经可以作为手势识别的特征图进行输入识别，但此特征图缺乏手势运动的时间信息，本文提出RDTI方法在此基础上进一步融入手势的时间信息。时空压缩旨在将距离-多普勒和距离-时间这两种传统的手势特征图从时间维度和空间维度进行压缩，构成手势时空压缩特征图即RDTI。需要在距离-多普勒特征图上利用手势主导速度来表示手势目标的频率响应实现空间上的压缩，并将主导速度信息映射到距离-时间图上实现时间上的压缩。最后将得到的手势时空压缩特征图输入到CNN中进行学习和分类。

图2 系统整体框架图

4.2 距离-多普勒预处理

为了从距离和速度方面提取用户特定的手势模式，将接收到的原始FMCW信号转换为距离-多普勒域。具体来说，首先对接收的信号进行距离-FFT，得到目标的距离信息。一个明显的频率响应FP是由目标在距离雷达FP×c/2S处将反射信号反弹所引起的，其中S为FMCW信号的扫描的斜率。需要注意的是，手势识别的信号会被许多物体(如手臂部位、墙体、天花板等)反射，每一种都会产生强烈的频率响应。为了进一步计算这些反射物体的各种速度，将FFT应用在距离-FFT的相位上，称为多普勒-FFT，以手势动作先远离雷达后再靠近雷达为例，详细说明手势特征信号的处理过程，如图3显示了该手势产生的多普勒-FFT信号，其中x轴(距离-FFT分辨率)对应反射面对雷达的移动速度，其中0表示反射面是静态的。y轴(多普勒-FFT分辨率)对应反射面到雷达的距离。

4.3 静态干扰去除

在图3所示的距离-多普勒图包含了移动手掌、静态物体(墙壁、天花板)和多径效应的信息。为了准确地获取用户的手势动作信息，需要消除静态干扰的影响。

图3 先远离雷达后靠近雷达手势信号特征图(第3帧)

本文采用的毫米波雷达平台为捕捉实时的手势变化，采用25帧/s的帧率。因此，对于每一帧，用户的频率响应出现在不同的距离-多普勒位置，而对于一些静态物体相关的频率响应发现在距离-多普勒图中随时间是保持一致的。这就意味着可以通过计算距离-多普勒域中平均频率响应来粗略估计来自静态目标的干扰，这样可以大大减少对每个距离-多普勒位置上目标相关频率响应的干扰。图4显示了2 s窗口导出的静态干扰分布图，包含50帧。为了消除干扰，从每帧的距离-多普勒域频率响应中减去估计的静止干扰。

图4 静态干扰分布图

去除静止干扰后的距离-多普勒图如图5所示，主要包含目标的手势引起的频率响应。

图5 去除静态干扰后的距离-多普勒图

4.4 动目标点筛选

在处理距离-多普勒数据时，可以注意到大量的背景噪声积累导致了频率响应的偏差。为了消除这种影响，同时保留用户手势在距离-多普勒图中的运动特征，采用多普勒动目标点筛选的方法，使用基于恒虚警率(Constant False-Alarm Rate,CFAR)的阈值滤波，在距离-多普勒数据的距离维度和多普勒维度分别进行CFAR计算，分别得到距离维度的阈值τR和多普勒维度阈值τD，具体描述如式(8)和式(9)所示

4.5 手势时空压缩特征图提取

图6 动目标筛选后的距离-多普勒图

至此，已经完成了对距离-多普勒数据的静态干扰去除、降噪以及多径抑制的过程，可以发现，从距离分辨率的角度解决了一个物体在多个相邻chrip中的速度。因此，可以采用一个主导速度表示用户每帧的手部速度，采用的公式为

其中，R(i,j,k)代表归一化后的频率响应，i, j, k分别为距离、速度、帧数对应的索引值，Vj对应于频率响应R(i,j,k)的速度，NR,ND分别表示距离-FFT的个数和多普勒-FFT的个数。主导速度集成了频率响应和速度，将2维距离-多普勒图压缩成1维阵列。将压缩后的距离-速度数据按时间顺序排列映射到距离-时间2维数据上，构成手势时空压缩特征图，显示用户的手势特征(手势运动的方向、手势的主导速度、持续时间等)，如图7所示。其中，距离随时间的变化反映了手部相对于雷达的位置；手势的持续时间由完成手势所需的帧数表示。手势的瞬时速度用主导速度来表示，手相对于雷达位置不同手势的主导速度也不同，图7中当手远离雷达运动时如菱形所表示的运动轨迹时，手势的主导速度为正，当手靠近雷达运动时如矩形所表示的运动轨迹时，手势的主导速度为负，速度的正负之分可以进一步判断手势的运动方向，由此表明手势的时空压缩特征可以准确地反映出用户不同手势运动的特有模态。

图7 手势时空压缩特征图

4.6 CNN网络分类器

为了能够从手势特征图像中提取更深层次的特征，本文设计了一个轻量级的CNN架构进行手势识别深度特征提取、训练和分类识别，网络结构图如图8所示，其关键层包含3个2维卷积层和2个1维全连接层。CNN的输入图像大小为64×64×3。

图8 卷积神经网络结构图

CNN由于手势像素尺寸小，轮廓特征简单，所以其卷积层的卷积核3较小，最大池化层的步幅2较小，全连接层的神经元数量较少。Softmax层的输出维数为Ncla×1，对应于各种手势分类的概率密度分布。设定恒定的学习率为0.001，batch size为32，迭代的epoch为50，所设计的网络模型参数大小仅为约6 MB，在GPU1080ti计算机上对单个样本进行分类仅需约10 ms。

本文选择CNN的主要原因是：首先，用于分类的多维特征是最适合CNN的2维图像；其次，深度神经网络擅长从大量的数据样本中学习通用特征，这有助于手势识别算法增强多用户的泛化能力。

5 实验和分析

本文采用的手势识别系统包含4个部分：毫米波雷达系统、原始数据处理、手势时空压缩特征图提取和CNN分类。首先利用FMCW毫米波雷达平台接收到原始手势数据，利用提出的压缩时空运动特征的算法得到压缩后的手势时空运动图，从而制作不同手势的数据集，最后利用不同的手势识别算法对数据集进行分类预测，验证不同手势识别算法的性能。

5.1 实验装置

为了评估本文的手势识别体系设计，设计了毫米波雷达采集手势数据系统。如图9所示，系统由两个功能模块组成：德州仪器(Texas Instruments,TI)毫米波雷达评估板AWR6843BOOST-ODS和实时高速数据采集适配器。数据捕获适配器通过低压差分信号(Low Voltage Differential Signaling,LVDS)接口从雷达芯片中捕获原始数模转换数据，通过USB接口输出到计算机进行进一步处理。本毫米波雷达系统采用的线性调频脉冲信号初始频率为60 GHz，带宽为4 GHz。基于时分复用多输入多输出(Time Division Multiplexing - Multiple Input Multiple Output, TDM-MIMO)方案，设计了3个发射天线和4个接收天线形成一个2维虚拟天线阵列，包括12个数据通道，虚拟天线阵元如图10所示。在水平和垂直方向上最多有4个虚拟通道，分别对应29°和29°的角分辨率。基于手势动作的特性，雷达系统的配置参数列于表1。手势特征的滑动窗口长度设置为50帧或2 s。

表1 手势识别系统中雷达的参数设置

图9 FMCW毫米波雷达平台

图10 多输入输出虚拟天线阵元

5.2 自建手势数据集

本文招募10个用户(7名男性，3名女性)执行7种手势动作构成了本文自建手势数据集，每种手势在相对于雷达1 m距离内完成，每个动作重复30次。10个用户分为8个训练用户和2个测试用户，测试用户对应的数据集不参与训练，用来在后期进行算法泛化能力的对比。

7种手势包括手指双击(0)、手指绕圈(1)、向左滑动(2)、向右滑动(3)、向上移动(4)、向下移动(5)、先上后下移动(6)，前两类为手指运动的微动手势，后5类为全手运动，为了验证本文手势识别方法的稳定性，还包含了一种无手势的状态(7)。通过不同的处理方法得到了多普勒-时间图(Doppler Time Image, DTI)、水平角度-时间图(Horizontal Angle Time Image, HATI)、垂直角度-时间图(Vertical Angle Time Image, VATI)、距离-多普勒图(Range Doppler Image, RDI)、距离-时间图(DTI+HATI+VATI)、压缩的距离-多普勒-时间图(Range Doppler Time Image, RDTI)的6幅信号特征图像，并将所有图像尺寸缩放到64×64。最后得到了由8人×8类×30幅图像组成的手势特征数据集。各种手势的示例和不同特征提取方法如图11所示。根据手势运动的特性，有效手势范围为在1 m×1 m，同时这些数据是在不同情况下收集的，例如不同的时间点、不同的运动速度、不同的姿势标准。以8:2划分数据集，即80%的数据用于构建手势识别模型，将20%数据输入到训练好的模型中，用于分类预测，训练样本数量和验证样本数量分别为1536张和384张。

图11 手势图和特征图

5.3 效果评估

为了验证本文所提出的距离-多普勒-时间图(RDTI)在手势识别中的性能，首先与谷歌Soli的手势识别方法在Soli数据集上进行手势识别精度对比，Soli采用距离-多普勒图(RDI)[20]作为网络的输入，为了有效提取手势运动的时间信息，设计了CNN+LSTM的网络架构，首先将RDI输入不同卷积层中提取卷积特征，然后将经CNN输出的特征图再作为LSTM的输入，利用其记忆单元建立起手势序列前后信息之间的联系，最后依此利用softmax进行分类。Soli采用的数据集为40 Hz的原始距离-多普勒图像，10名用户执行11种手势，每种手势重复25次，构成10人×11类×25次手势序列。基于该Soli数据集，本文提取出距离-多普勒-时间图输入到CNN网络中进行识别分类，在Soli数据集上的11种手势类别对比结果如图12所示。

从图12可以看出采用RDI的手势识别的平均精度为94.15，采用RDTI的手势识别的平均精度为95.2，由此可见，本文提出的利用主导速度来表示手势运动速度特征的方法是可行的，RDTI特征包含了距离、多普勒、时间信息，而不再需要LSTM网络另行提取时间信息，简化了模型，提供了更加轻便的手势识别方法。两种手势识别方法的网络模型如表2所示，可以看出基于RDTI的手势识别模型比基于RDI的手势识别模型小了约4倍，这为手势识别系统的实时性和可嵌入性提供了可能。

表2 RDI与RDTI网络结构参数模型大小对比

图12 RDI与RDTI算法在Soli手势数据集的实验对比

为了进一步验证不同手势特征的识别能力，根据RDTI, RDI[20], CA-DTI+HATI+VATI[15]特征提取方法在本文自建的手势数据集上进行特征提取，并输入到CNN进行训练和识别测试。图13是3种对比算法的各手势特征预测准确率。

在识别精度方面，从图13 3种不同手势特征的预测准确率可以看出，总体上来看大部分情况下，基于RDTI特征和基于CA-DTI+HATI+VATI特征的分类效果要比没有的时间信息的RDI特征的分类效果要好，平均分类精度分别高出4%, 3%。由此可见多特征信息对手势识别有很大的影响。同时可以看到融合了角度信息的CA-DTI+HAVTI+VATI对手指双击、手指绕圈两种微动手势的识别，效果并不是很理想。因为在现有的毫米波雷达平台中，大部分都存在角度分辨率不高的问题，而采用CADTI+HATI+VATI的多维特征融合方法，增加了垂直和水平角度信息，导致提取的角度特征对微动作手势的表示能力不强，反而影响了手势的识别精度。此外，多维特征信息的提取也需要加入更多的计算，首先在特征提取时，需要准确找到手势运动的角度信息，需要进行MUSIC算法的计算得到不同的角度图，然后多通道的特征信息在神经网络中也增加了计算量，过多的计算会导致手势识别系统变得复杂，难以做到实时性和可嵌入性。

图13 3种不同算法的手势特征预测准确率

相比之下，本文提出的基于压缩的手势时空运动图RDTI在具备较高的识别精度的同时，也大大减少了计算量。通过压缩速度信息的方式，将距离、时间、速度特征都融合起来，利用手势的主导速度来提取手势的主要特征，没有加入手势的角度信息，无论是面对手指的微动手势还是手掌的全手手势都有较好的识别效果。

为了进一步检验对比3种不同手势特征在手势识别上的泛化能力，利用训练用户的数据集训练好的模型对测试用户的数据集进行评估，由表3可以看出，对比另外两种手势识别方法，本文提出的RDTI手势特征在用户4与用户9上都有较好的泛化能力。

表3 3种不同手势特征的泛化能力(%)

6 结束语

本文基于TI毫米波雷达平台，利用FMCW雷达的高距离分辨率，对不同距离的多个手势进行分离，以提高手势识别的准确性。同时针对单特征手势识别精度低、多维特征多流网络识别模型复杂的问题，提出了基于时空压缩特征图的手势识别算法，该算法不仅保证了手势识别的准确性，而且提高了识别的准确率，同时简化了算法和网络模型。在后续的工作中，拟研究如何追踪更为准确精细的运动手势目标，以有效抑制运动杂波的干扰，考虑借鉴基于图像视觉的手势识别方法，构建准确追踪手势的运动模型，将感兴趣的区域进一步聚焦在有效的运动手势目标上，提取更多的手部散射和运动特征，从而更准确地识别手势。