基于BSN识别双人交互动作方法的研究

陈野，王哲龙，2，武东辉

1.大连理工大学控制科学与工程学院，辽宁大连116024

2.中国科学院沈阳自动化研究所机器人学国家重点实验室，沈阳110016

1 引言

体感网（BSN）是传统无线传感器网络在人体区域监测中的应用。体感网作为一种新兴的人体监测技术，具有强大的普遍监测和计算能力，应用前景十分广阔，受到了许多研究机构的重视。近年来，使用体感网监测和识别人体动作成为研究的热点之一[1]。

与传统基于视频的动作监测平台相比，应用BSN对人体动作进行监测和识别具有诸多优势。首先，应用视频进行监测通常适用于较小的空间内，而一些人体动作（如跑步、划艇训练等）需要在户外较大的空间进行，因此，应用视频设备有时会受到空间环境的限制；其次，使用视频进行监测，可能受障碍物的遮挡、光线的制约以及颜色效果相近的影响，这样会降低视频识别的准确度，而传感器网络不受这些制约，还可以准确获知人体运动的相关参数信息（如加速度信号、角速度信号等）；此外，基于视频平台进行监测费用昂贵，而传感器节点成本较低，适合在许多实际应用中进行普及和推广。

近年来，国内外的很多科研机构开展了基于BSN对人体动作进行监测和识别的研究，然而这些研究都是针对单人动作进行识别。如国内的王万良等人采用三轴加速度传感器，应用隐马尔科夫模型对手势进行了识别[2]；肖玲等基于压缩感知技术对“站”、“坐”、“躺”等13种动作进行了识别[3]；爱尔兰的Bourke等人采用二轴陀螺仪对人体跌倒动作进行了监测[4]；瑞士联邦理工学院的Am ft等人使用4枚惯性传感器节点来监测“吃”和“喝”时的手臂动作[5]；香港理工大学的Lau等人使用加速度传感器和陀螺仪对人体步态进行了分析[6]；美国麻省理工学院的A lbinali等人使用可穿戴式传感器对人体运动时的能量消耗进行了估计[7]；英国的Pansiot等人应用BSN对游泳运动进行了监测[8]；美国德克萨斯大学的Ghasemzadeh等人对高尔夫训练时手腕的挥杆动作进行了识别[9]；此外，还有研究采用BSN对跑步动作、视频游戏动作等进行了监测和分析[10-11]。

上述研究都是针对单人动作进行识别，缺少对双人交互动作的讨论，本文将重点讨论应用BSN识别出双人交互动作。双人交互动作在日常生活中非常普遍，如握手、拥抱等，也广泛应用于工业生产装配、竞技体育比赛等领域中。与单人动作相比，双人交互动作往往更加复杂，完成双人动作所涉及到的肢体动作种类更多，肢体之间的配合及排列方式也更加多样化，因此这是一个具有复杂场景的模式识别问题。如何有效地提取出双人交互动作的特征，并对双人交互事件进行建模和分析是极具挑战性的问题。

目前，国内外的科研机构采用BSN对双人交互动作进行监测和识别的研究还很少，处于起步阶段。美国的Bajcsy等人使用人体传感器网络对医疗护理中协助病人“站立”和“坐下”等交互活动进行了识别和分类[12]；南京大学的Wang等人采用耦合隐马尔可夫模型和条件随机场模型对智能家居中的一些交互活动，如整理餐桌、合作沏咖啡等动作进行了分析，其研究主要集中在智能家居[13]；英国爱丁堡大学的A rvind等人采用BSN对双人舞表演中的交互动作进行了监测，但是A rvind只是建立了舞姿中两人胸、脚等位置的物理模型，并没有进一步研究有关双人交互动作的识别方法[14]。在双人交互动作中，既有单人行为独立性的一面，也蕴含着双人肢体行为间的交叉依赖，针对这些特点，文献[15]给出了双人交互动作识别的框架，但并未具体阐述有关模式识别阶段的相关算法。

本文在此基础上，针对日常生活中的双人交互动作，提出了一种隐马尔可夫模型（HMM）和马尔可夫逻辑网（M LN）相结合的方法来进行建模和识别，并在实验平台中对其分类的效果进行了评估和验证。在实验平台上对日常生活中的5个交互动作：“握手”、“拥抱”、“推打”、“拳击”和“击掌”进行了分析。实验中通过固定在志愿者小臂上的加速度传感器节点，采集5种交互动作时所产生的加速度信号。将采集到的信号进行特征提取，包含时域和频域两部分信息。最后，应用HMM和M LN模型来对双人交互动作进行识别。

2 模型的建立和实验平台

2.1 模型的建立

基于BSN的双人交互动作识别具有自身的特点，需要融合两人传感器的相关数据，目前已有的数据融合方法可以归结为特征层数据融合和决策层数据融合两种类型。特征层数据融合方式是将每个传感器所采信号的特征向量进行融合，形成一个特征向量后来描述这个动作；而决策层数据融合方式是对每个传感器的运动信号都进行分类，最后通过决策规则得到最终的识别结果。

在双人交互动作中，既有单人行为独立性的一面，也蕴含双人肢体行为间的交叉依赖，针对这些特点，本研究采用决策层数据融合方式，将双人交互动作的识别分为两个层次的识别任务。其中，底层通过建立HMM对单人原子行为进行识别，HMM在手势识别、人体日常动作识别中已获得重要应用。高层引入一阶逻辑知识库，并采用M LN来实现交互行为的建模，最后通过决策规则识别出双人交互动作，模型架构如图1所示。

2.2 实验平台

本文搭建的基于BSN的双人交互动作监测平台包含硬件和软件两部分。硬件部分包含传感器节点、接收节点以及远程监测服务器。其中，传感器节点由传感器模块、能量模块和无线发送模块组成，如图2所示。传感器模块包括微加速度传感器和微陀螺仪，无线发送模块将数据包按照IEEE 802.15.4标准协议发送到远程的接收节点。接收节点安装在远程服务器上，由USB通信接口和信号接收模块组成，负责接收和保存传感器节点传来的数据。

图1 双人交互动作建模和识别框图

图2 BSN监测平台中所用节点硬件示意图

平台的软件部分主要包含数据采集模块、数据显示模块、数据存储模块和动作识别模块。其中，数据采集模块主要负责信号采集时一些参数的设定，包括设定采样时间、采样频率以及信号传输的波特率；数据显示模块负责实时显示所采集信号的波形；数据存储模块主要负责将采集到的信号以指定格式保存到服务器中；动作识别模块是软件平台的核心，该模块通过分析采集到的加速度运动数据，检测活动窗口提取特征向量，并采用HMM和M LN识别出不同的双人交互动作。

3 特征提取和识别算法

3.1 特征提取

在实验平台上进行的5组双人交互动作，分别是“握手”、“推打”、“拥抱”、“拳击”和“击掌”。图3分别显示了志愿者执行“握手”和“推打”行为时的实验场景。实验中在志愿者小臂处固定传感器节点，以获取手部动作时所产生的加速度信号，图4为右侧志愿者执行“握手”和“推打”动作时采集的加速度数据。

图3 实验中的“握手”和“推打”交互动作

图4 右侧志愿者的Y轴加速度数据

在获得双人交互动作的加速度数据后，通过设定门限阈值自动检测动作窗口[16]，并在每一动作观测窗口提取信号的相关特征，形成特征向量。本实验选择提取的信号特征包括均值、方差、偏态和离散傅里叶变换的5个最大峰值，如表1所示，这些特征在已有的人体动作识别中已被广泛采用[17]。这样，在观测窗口内便提取出一个24维的特征向量。

实验中每个志愿者动作时所产生的加速度信号，其样本点组成一个Ns×1维的向量，即上述这些信号特征的计算方法如下：

3.2 识别算法

3.2.1 基于HMM的单人动作识别

HMM是应用观测序列来描述隐含未知状态的一种概率模型，在语音分析、动作识别和生物序列识别等领域已获得了重要应用。在HMM模型中，隐含状态序列是一个马尔可夫链，隐含状态的状态值不可见，只能通过给出的观测序列来进行估计。一个HMM模型的完整参数集为λ=(π，A，B)，其中π为状态产生的初始概率；A为状态转移矩阵，用来表征状态间进行转移的概率；B为观测矩阵，用来表征在某个状态下输出观测值的概率。

本文应用HMM识别每一个体的单人原子行为，其中每个隐含状态表示一种可能的手部动作，状态间的转移表示从一种手部动作到另一种手部动作的转换，每个手部动作都对应一组输出观测值（即提取出的特征向量）。应用HMM进行单人原子行为识别的算法步骤如下：

（1）定义单人原子行为中的每一手部动作，为其设定标签。

（2）为每一手部动作建立一个HMM模型，即每个手部动作用一个具有N个隐含状态和M个状态观测的马尔可夫模型来描述。

（3）特征矢量量化。对于每个手部动作特征观测序列，应用K-M eans算法进行矢量量化，得到码本。K-M eans算法是一种无监督聚类算法，收敛速度很快。

表1 实验中选择提取的信号特征

（4）训练模型参数。采用Baum-Welch算法训练HMM模型。使用最大似然迭代学习方法（Expectation M axim ization，EM）进行参数估计，直至得到与手部动作训练样本最为接近的隐马尔可夫模型。

（5）用训练好的HMM模型识别单人原子行为。将一组手部动作特征序列用训练好的K-M eans码本，按前向递推算法分别计算该序列在每个模型上的后验概率，输出最大的即为手部动作的识别结果。

3.2.2 双人交互行为的语义建模

应用HMM模型识别单人原子行为可能存在误差，这样在结合两个单人原子行为来决策双人交互动作时，需要对其进行建模和分析。马尔可夫逻辑网（M LN）作为统计关系学习的模型之一，将M arkov网和一阶逻辑相结合，既保留了灵活的建模能力，又具有处理不确定性的能力，非常适合双人交互行为的推理[18]。

在一阶逻辑中，当一个世界违反了一个规则时，它发生的概率为零，而M LN可以削弱这一限制，即当一个世界违反了知识库中的一个规则，它在M LN中可能发生，只是发生的概率降低了。规则的权值反映了它对可能世界的约束强度，权值越大，满足和不满足该规则的世界发生的概率差别就越大[19]。实际上，在一阶逻辑知识库中通过对每个规则分配权值便可以转化为M LN。

对于一个马尔可夫逻辑网L，它是二元组(Fi，wi)的集合，其中Fi是一阶逻辑规则，它有一个非负的实值权重wi，对于有限的常数集C={c1，c2，…，cn}，所生成的M arkov网ML，C有如下规则：

（1）L中每个闭原子对应ML，C中的一个节点，若闭原子为真，节点值为1；否则为0。

（2）L中每个规则Fi对应ML，C中的一个特征值，若此闭规则为真，则对应的特征值为1；否则为0。

从上述规则和定义可以得出，一个闭M arkov网的概率分布如下：

其中，ni(x)是规则Fi在x中所有取真值的闭规则的个数，x{i}是出现在规则Fi中的原子集合的状态，且φi(x{i})=ewi，Z是归一化因子。M LN的网络结构确定后，它的权重可以从训练集中学习得到，通常采用最大似然方法进行参数学习。规则Fi权重的对数似然函数梯度如下：

一个完备的知识库是影响系统识别精确性的关键因素。本文中一阶逻辑知识库的规则是将双人动作看做为两个不同人原子行为的交互，并将单人原子行为和双人交互动作均用一阶逻辑谓词表示，比如以Handshake(X)来表示单人的“握手”行为；两人“握手”交互动作Handshake(p1，p2)的产生由两个不同人的原子行为决定，即action(p1，label)action(p2，label)!equal(p1，p2)→Hand sh ake(p1，p2)，规则的权重从训练集中学习得到。

利用加速度信息采用HMM模型在识别单人肢体运动的应用中，已获得了不错的分类效果，而引入一阶逻辑知识库并训练马尔可夫逻辑网是通过决策规则提高交互动作的识别率，故本文所提方法的性能对所采集的数据信息不存在过多的依赖。但由于HMM模型的训练和M LN的权重都需要使用训练集得到，故在采集初期获得数据信息较少的情况下，对方法的识别能力会有一定的影响。

4 实验设计和实验结果分析

4.1 实验设计

本次实验共有8名志愿者参加（4男，4女），年龄在22～28岁之间，实验前志愿者被告知实验目的、实验过程以及实验中所存在的风险，在实验室中两两组合，分别进行5组双人交互动作（C1“握手”，C2“拥抱”，C3“推打”，C4“拳击”和C5“击掌”）。为了获得明确的动作定义和较为准确的惯性数据，实验全部在实验室环境下进行。将加速度传感器节点固定在志愿者的小臂上，设置信号采样频率为25 Hz，避免采样频率过高引起的丢包率上升。志愿者每个动作重复进行2次，这样实验中共采集到280个数据集（28组×5个动作×2次重复）。

4.2 实验结果分析

本文中的双人交互动作识别包括单人原子行为识别和双人交互动作决策两部分，单人原子行为的识别结果在很大程度上将影响最终的分类性能。实验定义了9个具有语义的单人原子行为，分别是Subject A（A 1伸手，A 2搂抱，A 3躲避，A 4击掌）和Subject B（B1伸手，B2搂抱，B3推打，B4拳击，B5击掌），分别对应实验中进行的5组双人交互动作（C1～C5）。本文使用K折交叉验证（K-fold cross-validation）对实验中所提方法的识别效果进行评估。交叉验证进行10次，10次测试的平均结果作为最后的识别正确率。

如表2所示为单人原子行为和双人交互动作识别结果的正确率。从表中可以看到，虽然应用HMM识别单人原子行为（Sub A和Sub B）存在一定的误差，但M LN在高层进行决策并识别双人交互动作时，表现了一定的纠错能力，这得益于M LN在高层建模交互行为的灵活性。比如，当两人执行“握手”（C1）动作时，当Subject A的“伸手”（A 1）行为被错误地识别为“躲避”（A 3）行为时，由于Subject B的“伸手”（A 1）行为被正确识别，M LN最终正确地识别出两人“握手”交互动作，其原因在于Subject A的“躲避”（A 3）行为可对应Subject B的两种动作，即“推打”和“拳击”（B3和B4）行为，而Subject B的“伸手”行为只对应Subject A的一种动作（A 1），这种不确定性前者显然要大于后者，因此M LN能够正确识别。

表2 单人原子行为和交互动作识别结果的正确率（%）

本文也选取了基于特征层数据融合的一些方法进行了比较，包括最小二乘法（Least-Squares M ethod，LSM）、k近邻算法（k-Nearest Neighbor，kNN）和支持向量机（Support Vector M achine，SVM），以上这些方法同样采用交叉验证法进行验证。图5所示为使用不同识别方法得到的识别结果的正确率，C1到C5分别代表实验中进行的5组交互动作。从图5可以看出，基于特征层数据融合的一些方法都没有取得理想的识别效果，而本文提出的HMM和M LN相结合的识别方法，获得了较高的识别精度，能够在基于BSN的双人交互动作识别中得到应用。

图5 使用不同方法得到识别结果的正确率

本文在动作识别的过程中，考虑了方法的计算量和复杂程度。通过设定门限阈值自动检测活动窗口来提取特征向量，这在一定程度上避免了采样数据的冗余，降低了计算的复杂度；采用无监督聚类K-M eans算法码本、量化，其计算简单，收敛速度较快，为后续采用前向递推算法快速计算模型的后验概率提供了一定的保障，本文方法的实时性在实验中得到了验证。

5 结论

建立了一个基于BSN的双人交互动作监测和识别平台，应用传感器节点所采集到的加速度信号来识别不同的双人动作。针对双人交互动作的特点，本文研究提出了一种HMM与M LN相结合的方法。HMM模型在单人动作识别中能够有效地处理动作序列，为双人交互行为语义建模提供了准确的语义输入。M LN作为一种统计关系学习模型，在决策层具有处理不确定性的能力，非常适合用来建模高层的交互行为。在实验平台上初步设计了5组交互动作，包括“握手”、“拥抱”、“推打”、“拳击”和“击掌”。实验结果表明，本文方法可以很好地表述双人动作间的交互结构，获得了较高的识别正确率，能够在基于BSN的双人交互动作识别中得到应用。由于本文实验所采用的双人交互动作类别仍然较少，将来工作的重点是创建大规模的数据来做进一步验证，并考虑将该方法应用到多人交互动作识别中。

[1]Pantelopoulos A，Bourbakis N.A survey on wearable sensor based systems for health monitoring and prognosis[J].IEEE Transactions on Systems，Man，and Cybernetics：Part C Applications and Review s，2010，40（1）：1-12.

[2]王万良，杨经纬，蒋一波.基于运动传感器的手势识别[J].传感技术学报，2011，24（12）：1723-1727.

[3]肖玲，李仁发，罗娟.体域网中一种基于压缩感知的人体动作识别方法[J].电子与信息学报，2013，35（1）：119-125.

[4]Bourke A，Lyons G.A threshold-based fall-detection algorithm using a bi-axial gyroscope sensor[J].Medical Engineering and Physics，2008，30（1）：84-90.

[5]Am ft O，Junker H，Troster G.Detection of eating and drinking arm gestures using inertial body-worn sensors[C]//Proceedings of the 9th IEEE International Symposium on Wearable Computers，2005：160-163.

[6]Lau H，Tong K.The reliability of using accelerometer and gyroscope for gait event identification on persons with dropped foot[J].Gait and Posture，2008，27（2）：248-257.

[7]A lbinali F，Intille S，Haskell W，et al.Using wearable activity type detection to improve physical activity energy expenditure estimation[C]//Proceedings of the 12th ACM International Conference on Ubiquitous Computing.[S.l.]：ACM，2010：311-320.

[8]Pansiot J，Lo B，Yang G.Sw imm ing stroke kinematic analysis with BSN[C]//Proceedings of 2010 International Conference on Body Sensor Networks（BSN）.[S.l.]：IEEE，2010：153-158.

[9]Ghasemzadeh H，Loseu V，Guenterberg E，et al.Sport training using body sensor networks：a statistical approach to measure wrist rotation for golf swing[C]//Proceedings of the 4th International Conference on Body Area Networks.[S.l.]：ICST，2009：2-9.

[10]Strohrmann C，Rossi M，A rnrich B，et al.A data-driven approach to kinematic analysis in running using wearable technology[C]//Proceedings of the 9th International Conference on Wearable and Implantable Body Sensor Networks，2012：118-123.able Body Sensor Networks，2009：312-317.

[11]Mortazavi B，Chu K C，Li X，et al.Near-realistic motion video games with enforced activity[C]//Proceedings of the 9th International Conference on Wearable and Implantable Body Sensor Networks，2012：28-33.

[12]Bajcsy R，Giani A，Tom lin C，et al.Classification of physical interactions between two subjects[C]//Proceedings of the 6th International Workshop on Wearable and Implantable Body Sensor Networks，2009：187-192.

[13]Wang L，Gu T，Tao X P，et al.Recognizing multi-user activities using wearable sensors in a smart home[J].Pervasive and Mobile Computing，2011，7（3）：287-298.

[14]A rvind D K，Valtazanos A.Speckled tango dancers：real time motion capture of two-body interactions using on body wireless sensor networks[C]//Proceedings of the 6th International Workshop on Wearable and Implant-

[15]Chen Y，Wang Z L，Shang H，et al.Activity recognition and coordination analysis of two-body interactions using wearable sensors[C]//Proceedings of the 2013 International Conference on Image Processing，Computer Vision，and Pattern Recognition，2013.

[16]刘蓉，刘明.基于三轴加速度传感器的手势识别[J].计算机工程，2011，37（24）：141-143.

[17]Rltun K，Barshan B，Tuncel O.Comparative study on classifying human activities with miniature inertial and magnetic sensors[J].Pattern Recognition，2010，43（10）：3605-3620.

[18]韩磊，李君峰，贾云得.基于时空单词的两人交互行为识别方法[J].计算机学报，2010，33（4）：776-784.

[19]Richardson M，Domingos P.Markov logic networks[J].Machine Learning，2006，62（1/2）：107-136.