多接入边缘计算面向复杂应用的流式计算及评估关键指标浅析

2021-07-07 03:57奎,付
黑龙江科学 2021年12期
关键词:处理单元流式数据流

张 奎,付 韬

(中国电子科技集团公司第四十一研究所,山东 青岛 266555)

0 引言

随着5G基站的加速建设,多接入边缘计算与5G相结合可以服务于延时敏感的应用场景。多接入边缘计算旨在解决海量接入、动态热点、可靠高带宽等问题,实现快速卸载任务处理是其核心问题,需要处理大量通过式计算请求。与批量计算受限于数据库访问速度不同,流计算对在时间分布和数量上无限的一系列动态数据进行实时计算和处理,在数据的有效时间内获取预期价值。流式计算架构可以与多接入边缘计算服务的实时特征进行融合,具体可以包括以下几个方面:

A.针对吞吐量大、实时性强、无需长久存储的数据流预处理。主要包括一些传感器数据,在与应用相关时需要分析出特定事件,并基于事件和上下文形成具体的服务,属于处理但不存储的模式。B.优化计算拓扑的部署结构。现有流式计算框架一般是针对服务器节点和任务之间的数据流向进行计算拓扑优化,但是近几年如车联网、移动智能终端等应用场景需要在边缘实现低延迟的计算服务,大量感知器和手机等实时信息会拥塞边缘基站,因此需要针对移动边缘计算中各类智能终端应用流式计算处理拓扑。智能终端可以在任务中作为流式计算节点与多个基站组成任务组,进而针对分布式物理节点调控任务均衡,MEC服务器则负责计算任务的并行化、分配和分组等问题。C.流式计算采用计算节点和存储解耦的模型。在“终端-边缘-云”上采用更加灵活的存储缓存策略,而缓存的数据内容和位置也会影响流式计算的效率。需要针对移动边缘计算的应用类型和节点移动性设计专用的缓存策略。

本研究将介绍流式计算应用于移动边缘计算场景,针对移动智能终端、典型应用、快速移动条件下的计算任务提出流式计算模型和其中的关键评估指标,提出一种适用于移动边缘计算的计算任务部署评估模型,有力支撑移动边缘服务建设。

1 边缘计算中流式计算的典型案例

移动终端早期主要是利用基站实现通信接入、用户鉴权、定位等任务的计算,计算数据量较小。随着近些年移动端应用种类越来越多,用到的传感器不断增加,需要处理大量一次性流数据。多接入边缘计算处理的数据类型主要包括传感数据流处理、视频数据流处理、服务数据流处理。传感数据流计算场景体现处理实时数据的迫切需求,视频数据流计算场景体现算法复杂度对计算架构的迫切需求,服务数据流计算场景凸显对复杂交互的迫切需求。在终端移动性较强的情况下,需要设计专用的MEC流式计算系统。

De Assuncao等[1]设计物联网中流式计算的应用,值得注意的是在该架构中虽然实现计算拓扑和数据存储之间的弱耦合,但仅在边缘节点重点处理实时上传的数据流,实现无丢失、去重复、检错的数据预处理。计算复杂度较高的流式计算功能依然在云或机群实现,没有充分挖掘出边缘的计算存储能力。

Dautov等[2]设计一种工作负载均衡的边缘流计算方法,通过Zookeeper将计算任务群发到多个流式计算边缘设备,在处理时间敏感数据时提高吞吐量。该方案在边缘树莓派上部署大规模流式计算节点,设计专用的消息中间件,实现集中任务分割、任务分发、节点发现、节点选择、计算编排的优化。

Papageorgiou[3]等针对多个计算拓扑之间可能存在关联,研究存在于多个物理节点的相互独立的计算拓扑的协同,针对智能终端在本地计算和远程计算的切换控制设计计算架构,在任务拓扑执行过程中,会根据终端状态和数据分布动态调整流式计算拓扑。

2 MEC中的边缘计算

在MEC中,部署流式计算框架如图1所示。从设备视图来看,移动设备可以通过安装的客户端或应用内含的模块将计算任务上传至基站处理。

图1 MEC流式计算Fig.1 MEC streaming calculation

从计算任务视图来看,移动终端首先进行任务调度,针对符合计算卸载需求的任务请求远端MEC基站处理。本研究的模型中,终端也需要开启流式计算的两个组件,其中数据源获取传感器数据并传给本地处理单元,处理单元实现数据脱敏和服务定级等操作,随后通过无线通信发送给MEC服务器,MEC服务器运行流式计算框架。

多个计算节点将不停处理移动端上传的数据,由于数据的读写都在内存中完成,主要延迟取决于拓扑复杂度。在MEC中,主要涉及到是否存在多个基站的协同处理,处理延迟是整个拓扑中最长的处理链时间,在获得结果后,将不含敏感信息的数据反馈给移动端,移动端将进行最后的处理,这里一般需要考虑移动性管理。

3 测试评估关键指标

本研究在进行MEC下的流式计算测试评估时采用黑盒测试方法,仿真时需要设计多种流类别,各种仿真测试流的区别在于突出被测关键指标。结合国内外相关研究,目前MEC场景下流式计算平台的关键评估指标如下:

A.系统延迟。该延迟代表处理计算迁移任务的时间,数据流处理时间由事件、消息队列、注入时间、处理时间构成[4]。B.通信开销。指完成计算任务过程中所有处理单元向下一级处理单元发送数据量的总和。通信开销占用边缘云的通信带宽,减少通信开销有利于提高MEC效率。C.资源利用率。运行计算任务时CPU利用率、内存利用率、网络带宽利用率。D.能耗开销。边缘云可以开启或关闭部分硬件资源,所以能耗是可以调节的开销。E.流式计算拓扑。该指标是数据处理单元之间的连接关系,复杂程度和合理性会影响处理速度。可通过通信负载优化、实例重分配、线程部署优化、任务负载均衡等手段调整计算拓扑。

4 结论

在多接入边缘计算领域中,系统延迟和流式计算拓扑依然是最关键的评价指标。基于MEC基站的服务特征,采用流式计算更符合移动用户的服务需求。

猜你喜欢
处理单元流式数据流
常熟开关新品来袭!CSX3系列电气防火限流式保护器
2种6色流式细胞术试剂检测淋巴细胞亚群的性能比较
不同生物链组合对黄河下游地区引黄水库富营养化及藻类控制
数据流计算研究进展与概述
流式大数据数据清洗系统设计与实现
城市污水处理厂设备能耗及影响因素分析研究
长填龄渗滤液MBR+NF组合工艺各处理单元的DOM化学多样性
汽车维修数据流基础(上)
汽车维修数据流基础(下)
AADL端对端数据流一致性验证方法