工业物联网环境下隐式人机交互消息传播方法

杨 林 李文锋 段 莹 罗 云 杨文超

武汉理工大学物流工程学院，武汉，430063

0 引言

制造需求正从大规模集成生产向小批量、定制化、大量服务协作化转变。柔性制造、敏捷制造、cyber制造[1]、social制造[2]等各类制造模式的出现，加速了物联网和信息物理系统技术在制造业的应用，构造了未来工业4.0生态：小型化、高度柔性生产者及各类服务资源组成的制造网络[3]，智能联网现场设备能独立提供自服务、自感知、自配置的智能物体资源[4]，智能物体服务间彼此交互或通信来提高服务附加值，个性化的客户需求预测与追踪，“客户即生产者”的参与式生产[5]等。工业4.0使得人、产品、机器和其他资源被作为信息和服务分享到整个企业生产系统和价值链。人既是数据和服务使用者也是提供者，信息和服务呈现以人为中心的特征。

以人为中心的物联网技术将智能手机作为人与物联网资源交互的接口，实现人与物理设备和信息空间(cyber)数据服务的随时随地交互[6]。人通过智能化的技术获取周边服务资源，周边智能物体网络根据人的行为特征提供前瞻性的服务[7]。人机交互模式由传统的面向物理实体的显式交互转为面向服务的隐式交互[8-9]。一方面，这种面向服务的智能工业环境模糊了传统的金字塔式的分层控制与感知[10]，制造过程中，人周边的环境出现新特征：设备对设备(device-to-device, D2D)直接获取现场设备物理数据，全局化点对点(peer-to-peer, P2P)通信的数据和服务访问，数据在物理和信息空间进行交互，人机交互隐式化[11]；另一方面，移动设备是人随身携带的物理计算设备，是实现高度动态的制造现场设备环境下人机交互普适性的硬件基础。移动设备被应用到制造业全生命周期的各个环节，通过内置传感器、可穿戴生产设备、驾驶或操作的车辆等感知人的行为，增强了人与周边智能设备彼此交互的能力。隐式交互形式由人与设备接口或操作界面交互，拓展为智能手机设备与其他设备的交互。周边环境的智能设备通过分析手机采集的数据来推理人的行为特征。面向带人属性的智能物体服务隐式交互在工业物联网中的研究逐渐被重视。然而，人与工业物联网环境的集成具有移动性、社会性等因素，这给智能物体间的交互带来了新的挑战。本文以移动性、非中性化的工业物联网智能物体服务为研究对象，探索人与工业物联网交互中的隐式社会关系及其交互信息传递性能。

1 隐式人机交互国内外研究现状

国内，徐光等[12]研究了普适计算环境下基于觉察的动态的上下文感知的隐式交互，提出了物理信息系统“时空流”的信息交互形式，将传统的基于固定设备和环境的人机交互扩展至随时随地的日常物品和环境接口间的交互。针对动态的环境上下文感知，王国建等[13]提出了动态环境下服务共享机制，实现视觉感知系统对隐式交互的支持。王巍等[14]总结了隐式人机交互的研究现状，指出物联网环境与普适计算下，移动设备传感器感知与可穿戴体感网是隐式交互研究的关键技术。针对传统WIMP(windows, icon, menu, point device)界面复杂人机交互难以适应的问题，马翠霞等[15]研究了云制造环境下的隐式人机交互，通过笔画操作智能终端与虚拟化、服务化制造资源交互，提高企业移动制造效率。这种面向设备或系统的隐式交互基于垂直、封闭的人周边环境，数据来自人周边范围测量环境，信息来自特定应用的云端虚拟服务器集中查询和分发。但是，人进入新的环境中，需要重新配置与周边设备的连接、从其他企业或者云服务器获取授权。针对面向非中心化企业层级的自治系统服务，张祖国[16]提出了社会化智能代理的制造体系架构，企业制造资源的动态组合无需开发新的软件系统，支持人(自由职业者)与企业的制造分包服务动态耦合。上述研究为无所不在的普适性感知奠定了理论基础。以人为中心的工业物联网环境中，设备高度密集分布、随时随地服务本地直接交互的新特征，需要对隐式交互展开进一步探索。

国外，SCHMIDT[9]首次定义了隐式交互，基于XML对上下文感知建模进行了论证。人不需要直接操作机器，机器系统根据人的意图提供服务。JAROSLAW等[17]针对传感器-执行器上下文推断不准的问题，提出智能物体主动提示机制，在人周边提示可选提示或暗示，简单交互做出选择。在智能手机与智能物体隐式交互方面，STEFAN等[18]指出，智能手机与可穿戴设备的体感网结合是隐式交互的有效工具，并分析了当前移动隐式交互中的可穿戴设备。在物联网隐式交互方面，GUIOU[19]探索了物联网智能物体在没有提示的情况下感知人的活动，作为桥梁连接不同的人之间的关系，并创建安全可信的新的人际连接，增强人的社会关系网络连接。上述针对工业4.0中人与自组织智能物体交互的研究，为人机混杂环境下的隐式交互研究奠定了基础。

2 智能设备的服务及社会化网络建模

2.1 带人属性的智能设备服务描述

工业4.0中，网络化制造资源由离散的自组织服务构成，客户需求或定制生产任务通过一组服务交互的形式完成。在隐式交互范式下，人的移动性与个性化需求具有不确定性，导致服务组合与触发具有机会性。考虑人的因素和机器社会化属性，社会化智能物体服务以中间件的形式对外提供服务和交互。异构智能设备通过智能物体(smart object)技术抽象为服务中间件，单独或者动态组合构建服务，满足用户请求[20]。社会化智能设备服务包含以下部分：自身独立的服务(m-service)、社会化活动(social activities)、物理活动(physical activities)、设备对设备直接服务交互(device-to-device service aggregation)。智能物体服务m-service(mobile-、micro-、multiple-service, 移动式、微小、多模态服务)具有独立的发现、自服务、自组织和自配置的功能，包含服务评价、匹配、带人属性的交互模型(people-centric interaction model)等。物理活动包含服务属性、链表访问、记录及知识库，记录设备本地局部网络物理连接链表及设备间依赖关系，在与其他智能物体交互的过程中进行更新，存储在本地智能设备内存。社会化活动包含智能设备社会关系网络连接、社会属性的推理匹配。将人的属性引入智能设备服务语义模型，考虑人在日常活动中动态的社会属性与状态改变的触发因素，构建一种面向人属性的智能物体服务模型：

(1)

其中，mServicei表示智能物体在第i种服务组合状态下，具有属性单元AttrUi、触发单元TrigUi。触发单元是服务组合状态改变的驱动单元，作为驱动服务自组织、推理、筛选的参数。其中，Obj.Location为位置，Obj.Tim为时间，Obj.Soci为社会连接，Obj.LocLink为本地连接，Obj.Mov为移动，Obj.Orin为朝向，Obj.Env为环境。该服务语义描述模型为社会化智能物体动态创建服务组合与节点间社会关系的软件实现方法。

2.2 工业物联网智能设备社交网络

机器社交网络[21]与人携带的体感网交互过程中形成的关系表征为社会关系，它动态创建了智能物体的服务连接网络与D2D通信的增强连接图(social-D2D enhanced graph)。社会关系强度是智能设备之间消息转发的倾向指标之一。工业物联网环境中带人社会属性的制造资源社会关系示例见表1。

2.3 带人移动特性的设备社会化网络构建

图1 带人移动特性的D2D网络交互消息摆渡与新社会关系构建Fig.1 Message ferrying of human mobility in D2D interaction network for implicit social relationship tie creating

借鉴文献[22]中机会网络节点相遇与概率模型，在社会化自组织生产网络中，社会化设备节点对(pairs)的相遇或者内部连接分布服从长尾Weibull分布Xphy_meet，且D2D节点联系间隔服从平均分布Xinner_meet[a,b]。基于D2D接触间隔，节点ni和nj之间的接触率记为

(2)

其中，E[·]为数学期望；Ii,j为节点对(pairs)接触时长；Ti,j为接触的间隔；γ为长尾分布幂律指数；tmin为设定的最短接触时间；[a,b]为平均分布区间。因此，通过接触率σi,j获取移动用户节点ni和nj的D2D设备对的连接概率。设某社团Cave的影响因子为Ic,c⊆C，其中，C是社团集合，体现了社团内设备相互连续接触的频繁度，可通过该社团节点的平均接触率计算：

(3)

式中，Nc为社团c中节点的数量。

3 带社会属性的隐式人机交互消息传播方法

3.1 隐式交互系统消息传播方法

基于D2D社会化网络，从人的需求信息传播角度，隐式交互可分为两个阶段：人直接交互阶段和社会化D2D(social-D2D)网络交互阶段，如图2所示。在体感网的物理无线通信覆盖范围内，人直接参与周边物理通信连接的智能物体节点交互；体感网物理通信覆盖范围外，第一阶段的交互信息在社会化D2D(其他人与智能物体设备)网络中进行迭代传播。与已有的基于蜂窝基站的设备对设备病毒传播扩散模型相比，信息传播受三个方面的约束：带人属性的周边设备选择、受物理通信范围限制的D2D连接、带社会关系的自组织网络。社会化D2D网络内的消息迭代传播模型是一种概率模型。建模过程可分为：带人倾向的转发与种子选择、社会关系连接的转发、D2D移动网络连接的转发。

图2 带人属性的隐式交互信息传播方法Fig.2 Message dissemination method for human-IoT implicit interactions under human attributes

3.2 带人倾向的种子选择

P(u,m,l,i)=P(m,l,i|u)P(u)

(4)

(5)

由于体感网或智能设备的计算资源受限，因此，对于给定的种子数量,当前节点的候选邻居节点的选择策略可视为周边智能设备节点转发倾向的概率排序问题。

3.3 设备社会化网络的消息迭代转发

通过社会化的自组织智能制造设备网络，种子节点将客户需求信息传播给其他社会化D2D网络节点。种子节点与其连接的邻近智能物体节点交互，并将用户需求消息进一步传输给其他制造节点，迭代传播直至消息传递到目标节点。

定义1 对于交互系统中的一组社会化设备节点集合Nuser，Nuser之间的社会连接关系网络可表示为带权重的无向图Gsoc，即

Gsoc=(N,E)vi∈V
E={(v1,v2),(v3,v4),…,(vi,vj)}

(6)

图Gsoc的边(vi,vj)记为ei,j={(i,j)|i,j∈Nuser},ei,j∈E,表示节点i、j的社会化连接,其权重wi,j∈W。

(7)

其中，P(k|i,j)表示消息k对节点i、j的转发倾向，由式(5)计算。

4 方法性能评估

4.1 案例场景

以某企业汽车轮毂定制的隐式交互流程为例。商场C展销的汽车轮毂是加装智能硬件的智能物体，能通过无线射频识别(RFID)技术定位智能手机，如NFC、Bluetooth、WiFi等技术。通过Device-free客户追踪技术能隐式获取客户停留位置、时间、往返次数，推算当前热门产品。轮毂消费者D要求修改轮毂铝材，订购数量4个。商场销售人员手机隐式获取轮毂无线MAC地址或者RFID的ID，通过社交化制造业平台(如Kenandy、海尔扁平制造平台或云ERP)隐式向专属制造企业A员工推送提醒。制造商A员工审阅后直接点击同意并更新按钮，发送至Cyber制造网络。车间或者制造现场流水线B的工人E手机收到提醒，同时现场CNC机床隐式下载加工任务。现场加装无线智能物体的铝材，隐式地主动向周边智能传送带/运输设备或工人推送搬运提醒。

客户使用手机与轮毂样品直接交互，轮毂样品根据所在的social-D2D网络传递客户需求信息，并将人的需求发布到工业物联网节点，传递至目标生产设备。因此，定制化过程可定义为客户需求信息在social-D2D网络中传播的问题。为简化数值计算模型中的参数，对场景中的隐式交互系统环境作如下假设：①以人为中心的工业物联网环境下，客户兴趣与需求总能被周边智能物体感知。为了与已有消息传递方法中的基站到初始移动用户的选择阶段匹配，将体感网覆盖范围内的设备初始选择种子数量设置为常量。设置体感网的为人工选定的初始种子节点，在体感网范围外迭代传播中，转发倾向设置为指定的概率Vij。②用户兴趣及订单的制造需求信息由一组服务ID集合组成；需求信息可表示为社会网络中的一组目标节点Mtar，设置为常量。③客户需求与制造资源的匹配问题[24]总能得到满足和响应，且交互信息的接收、存储、转发不影响制造资源当前的生产任务。文献[25]已经证明Caveman模型非常接近社会网络真实情况，节点在某时间窗内动态地产生社会关系连接完全连接子图。使用Caveman社会关系模型，该场景中社会化设备节点和人的节点网络能构造Caveman完全连接子图。现场设备、物料、订单、工人等资源是社会网络的节点，这些带人社会属性的节点服务间的交互与人的社会网络特征相似。④仅考虑服务消息的传递过程。不同制造设备的能力和工序的差异较大，模型暂不考虑服务执行时间。需求信息成功传递到集合中尽可能多的服务节点，即制造需求信息满足制造服务集合。隐式定制化制造问题转化为信息在以人为中心的物联网中传播的消息传播问题。

4.2 评价指标

为了对所提工业物联网人机交互模型进行性能评估，提出的如下2个分析评价指标：①消息传播的平均完成率(average completion ratio，ACR)指所有物联网制造资源节点收到消息的数量与客户定制请求服务信息集合中总数的比。与文献[26]中基于机会网络社区的随机传播方法相比，social-D2D传播方法考虑社会关系及人的倾向因素的种子选择机制。②种子数量与消息传递能力(体感网的设备连接能力)。考虑体感网/手持智能设备及智能设备资源受限，与周边群集智能设备直接连接数量(种子数量)影响交互体验，使用数值计算方法探索在某一性能目标下的体感网连接数量，该指标是隐式交互宜人化的指标之一。

4.3 仿真结果分析

为了与文献[27]中随机传播方案进行性能比较，本文隐式交互机制的性能评估仿真实验参数设置见表2。基于Caveman模型构建轮毂制造资源节点网络的社会关系图，首先随机选择2个物联网制造资源节点作为孤立节点，然后使用经典的社会网络模型在剩下的88个节点中来产生一个社会关系。Caveman模型从独立完全图开始，通过一个节点以概率P指向另外一个节点，随机构建内部连接。在重新连接节点的连线阶段，在已有网络中选择一个完全图，该图的每个边随机重新连边。为了更好地模拟真实场景，在已有社会化连接图中随机选择一些节点，作为摆渡节点在固定的时间间隔内与其他节点相遇。单次仿真时间周期为600个时间窗(dissemination time slot)，实验100次取平均值，得到平均完成率与时间窗口数量的关系。间隔30个时间窗取值进行采样观测，获取离散的平均完成率数值。

表2 仿真环境设置及参数

social-D2D机制与随机转发(random)机制性能比较如图3所示。在人携带的智能手机直接向周边交互的智能制造资源种子数量为4的情况下，social-D2D交互机制在任意时间窗的平均信息完成率总体优于随机转发机制。social-D2D机制的平均完成率最大值趋于80%,随机转发机制的平均完成率最大值趋于73%。在第450个时间窗，随机转发机制达到极值，但social-D2D机制持续投递消息，并在后30个时间窗左右达到极值。表明在相同的物理连接网络环境和移动模型下，带社会关系的social-D2D机制消息传播完成率提高7%，增加了工业物联网信息在网络中的可达性。

图3 不同消息传播机制下的平均完成率Fig.3 Average completion rate under different message propagation mechanisms

体感网连接设备数量对消息传播能力的影响如图4所示。采用移动平均线进行趋势分析，间隔为30个时间窗。设定初始种子数nseed分别为2、4、6、8，当种子数量为2时，在第210个时间窗抵达平均完成率上限，种子数量越大，抵达上限的时间越长。随着种子数量从2增加至8，消息传播平均完成率从40%增大到95%，说明随着种子数量的增加，消息传播的性能逐渐提升。种子数量递增，消息传播平均完成率增幅分别为40%、10%、5%，增幅逐渐减小。当种子数量大于8时，可供提升的最大空间仅为5%。由于种子节点数量代表体感网同时连接周边物理设备的数量和计算能力，在设定用户满意度的条件下，持续增加连接能力与设备成本可找到平衡方案。仿真结果表明，在给定的消息平均传输率目标区间内，种子数量具有可预测性，因此，在用户设定的满意度下，数值计算结果可以对人的体感网设备的连接能力进行预测，为工业物联网节点交互参数选取提供理论依据。

图4 不同种子数量对消息传播能力的影响Fig.4 Effects of different seed numbers on the ability of message dissemination

5 结语

本文分析了社会化制造环境下人与群集智能物体制造资源动态集成、随时随地高频隐式交互的特点，针对移动设备能力受限与交互复杂性不匹配的矛盾，构建了面向社会化智能设备服务的人与智能物体隐式交互架构。考虑人的社会化因素，提出了人的交互信息在社会化设备对设备网络中的传播方法。通过一个轮毂制造的案例，描述本文隐式人机交互架构如何支持工业4.0应用。在不考虑物理位置部署细节的情况下，从概率模型的角度对social-D2D消息传播方法进行数值计算。与传统的机会接触、随机转发的物联网方案相比，以人为中心的工业物联网隐式直接交互方法更加宜人：降低服务获取的复杂度，在搜索阶段与周边的个别节点交互，而不会影响其他节点工作状态。下一步将考虑带人属性智能设备通信网络覆盖范围内与其他节点的物理距离、不同移动模型等因素对交互消息传播的影响，使用Multi-Agent方法构建请求与服务的选择模型与算法，进一步完善人机交互消息传播方法。

[1] LEE J, BAGHERI B, JIN C. Introduction to Cyber Manufacturing[J]. Manufacturing Letters, 2016, 8: 11-15.

[2] JIANG Pingyu, DING Kai, LENG Jiewu. Towards a Cyber-physical-social-connected and Service-oriented Manufacturing Paradigm: Social Manufacturing[J]. Manufacturing Letters, 2016, 7: 15-21.

[3] YING Cheng, TAO Fei, XU Lida, et al. Advanced Manufacturing Systems: Supply-demand Matching of Manufacturing Resource Based on Complex Networks and Internet of Things[J]. Enterprise Information Systems, 2016,7:1-18.

[4] LEE J, BAGHERI B, KAO H A. A Cyber-physical Systems Architecture for Industry 4.0-based Manufacturing Systems[J]. Manufacturing Letters, 2015, 3: 18-23.

[5] MOURTZIS D, DOUKAS M. Design and Planning of Manufacturing Networks for Mass Customisation and Personalisation: Challenges and Outlook[J]. Procedia CIRP, 2014, 19: 1-13.

[6] MIRANDA J, MKITALO N, GARCIA-ALONSO J, et al. From the Internet of Things to the Internet of People[J]. IEEE Internet Computing, 2015, 19(2): 40-47.

[7] DELMASTRO F, VALERIO A,CONTI M. People-centric Computing and Communications in Smart Cities[J]. IEEE Communications Magazine, 2016, 54 (7): 122-128.

[8] KIETZMANN J. Interactive Innovation of Technology for Mobile Work[J]. European Journal of Information Systems, 2008, 17(3): 305-320.

[9] SCHMIDT A. Implicit Human Computer Interaction through Context[J]. Personal Technologies, 2000, 4(2/3): 191-199.

[10] ZÜHLKE D, LISA O. Agile Automation Systems Based on Cyber-physical Systems and Service-oriented Architectures[J]. Advances in Automation and Robotics, 2011, 1: 567-574.

[11] BERGWEILER S. Intelligent Manufacturing Based on Self-monitoring Cyber-physical Systems[J]. UBICOMM, 2015,121.

[12] 徐光,陶霖密,史元春, 等. 普适计算模式下的人机交互[J]. 计算机学报,2007(7): 30.

XU Guang, TAO Linmi, SHI Yuanchun. Human Computer Interaction for Ubiquitous/Pervasive Computing Mode[J]. Chinese Journal of Computers, 2007, 30(7):1041-1053.

[13] 王国建, 陶霖密. 支持隐式人机交互的分布式视觉系统[J]. 中国图象图形学报, 2010, 15(8): 1133-1138.

WANG Guojian, TAO Linmi. Distributed Vision System for Implicit Human Computer Interaction[J]. Journal of Image & Graphics, 2010, 15(8): 1133-1138.

[14] 王巍, 黄晓丹, 赵继军,等. 隐式人机交互[J]. 信息与控制, 2014, 43(1): 101-109.

WANG Wei, HUANG Xiaodan, ZHAO Jijun, et al. Implicit Human-Computer Interaction[J]. Information & Control, 2014, 43(1): 101-109.

[15] 马翠霞, 任磊, 滕东兴,等. 云制造环境下的普适人机交互技术[J]. 计算机集成制造系统, 2011, 17(3):504-510.

MA Cuixia, REN Lei, TENG Dongxing, et al. Ubiquitous Human-Computer Interaction in Cloud Manufacturing[J]. Computer Integrated Manufacturing Systems, 2011, 17(3):504-510.

[16] 张祖国. 面向社会化协同的智能制造体系结构[J]. 计算机集成制造系统, 2016, 22(7):1779-1788.

ZHANG Zuguo. System Architecture for SNS-based Collaborative Intelligent Manufacturing[J]. Computer Integrated Manufacturing Systems, 2016, 22(7):1779-1788.

[17] JAROSLAW D, LALIS S, PRUZKOWSKI A, et al. Soft Actuation: Smart Home and Office with Human-in-the-loop[J]. IEEE Pervasive Computing, 2016, 15(1): 48-56.

[18] STEFAN S, OLSSON T, MAYER S, LAERHOVEN K V. Mobile Interactions Augmented by Wearable Computing: a Design Space and Vision[J]. International Journal of Mobile Human Computer Interaction, 2016, 8(4): 104-114.

[19] GUIOU K. The Ethical Impact of the Internet of Things in Social Relationships[J]. IEEE Consumer Electronics Magazine, 2016, 5(3): 85-89.

[20] YANG L, LI W, LUO Y,et al. A Social-D2D Architecture for People-centric Industrial Internet of Things[C]// International Conference on Networking, Sensing and Control. Calabria, 2017:744-749.

[21] PTICEK M, PODOBNIK V, JEZIC G. Beyond the Internet of Things: the Social Networking of Machines[J]. International Journal of Distributed Sensor Networks, 2016(4):1-15.

[22] ZHANG B, LI Y, JIN D, et al. Social-aware Peer Discovery for D2D Communications Underlaying Cellular Networks[J]. IEEE Transactions on Wireless Communications, 2015, 14(5):2426-2439.

[23] CHEN X, PROULX B, GONG X, et al. SocialTrust and Social Reciprocity Based Cooperative D2D Communications[C]//ACM MobiHoc.Bangalore, 2013: 187-196.

[24] YING, C, TAO F, XU L, et al. Advanced Manufacturing Systems: Supply-Demand Matching of Manufacturing Resource Based on Complex Networks and Internet of Things[J]. Enterprise Information Systems, 2016(5): 1-18.

[25] WATTS D J. Small Worlds: the Dynamics of Networks between Order and Randomness[M]. Princeton:Princeton University Press, 1999.

[26] KARAGIANNIS T, BOUDEC J Y L, VOJNOVIC M. Power Law and Exponential Decay of Intercontact Times between Mobile Devices[J]. IEEE Transactions on Mobile Computing, 2010, 9(10):1377-1390.

[27] CHUANG Y J, LIN C J. Cellular Traffic Offloading through Community-based Opportunistic Dissemination[C]//IEEE WCNC.Shanghai, 2012: 3188-3193.