基于标准的大数据互连技术综述

2020-05-13 06:50斌,张晟,肖
机电元件 2020年2期
关键词:标准化传输标准

庞 斌,张 晟,肖 淼

(1.四川华丰企业集团有限公司,绵阳,621000;2.北京系统工程研究所,北京,100101)

1 引言

大数据时代正在大踏步的向我们走来,机器人、智能终端、智慧家庭、智慧城市、智慧地球、物联网正在改变我们的生活,应用于海陆空天网等军事领域的众多颠覆性技术也正在改变未来的战争。另一方面,传统的连接技术历经数十年的发展也已触及天花板,不融入这个大数据发展的洪流,就将被时代所抛弃。变革已是大势所趋,优胜劣汰,因此,连接器行业别无选择,必须勇敢面对,颠覆传统的互连技术,在大数据浪潮中找到出路。大数据引起了各种技术的巨大变革,未来的大数据互连技术究竟是怎样的技术,面对大数据时代我们应该做些什么,这是理论研究首先需要解决的问题。

2 大数据概念

2.1 大数据的定义

什么是大数据,迄今为止业界并没有给出一个正式公认的定义,大数据本身是一个宽泛的概念,众多不同的研究机构和企业纷纷从不同的角度对大数据进行了诠释。

全球最具权威的IT研究与顾问咨询公司Gartner给出大数据定义为:大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产[1]。

麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征[2]。

2015年,美国国家标准与技术研究院(National Institute of Standards and Technology,NIST)在其研究报告《NIST大数据互操作性框架草案 第一卷:定义》中提出:大数据是指那些传统数据架构无法有效处理的新数据集合。因此,采用新的架构来高效率完成数据处理,这些数据集特征包括:数量(即数据集的规模)、数据类型的多样性、多个领域数据的差异性、数据的动态特征(速度或流动率,可变性)[3]。

维基百科(Wikipedia)给出的定义是:大数据,或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息[4]。

百度百科给出的定义是:大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产[5]。

目前,国内普遍的理解是:具有数量巨大、来源丰富、生成极快、且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。

2.2 大数据的5V特征

相较于传统数据概念,业界一致将大数据的特征总结为5个以英文字母V开头的单词,简称为大数据的5V特征[6],如图所示。

(1)体量大(Volume)

具有大规模的数据量,并且数据量呈持续增长趋势。目前一般指超过10T规模的数据量,但未来随着技术的进步,符合大数据标准的数据集大小也会随之变化。

(2)速度快(Velocity)

数据生成、流动速率快,数据流动速率指指对数据采集、存储以及分析具有价值信息的速度,因此也意味着数据的采集和分析等过程必须迅速及时。

(3)模态多(Variety)

大数据包括多种不同格式和不同类型的数据。数据来源包括人与系统交互时与机器自动生成,来源的多样性导致数据类型的多样性。

(4)难辨识(Veracity)

数据的准确性和可信赖度,即数据的质量难以确定。

(5)价值密度低(Value)

信息海量,但价值密度较低。随着数据量的增长,数据中有意义的信息却没有成相应比例增长,需要从海量价值密度低的数据中挖掘出具有高价值的数据。

由此可以看出,大数据的内涵不仅仅是数据本身,还包括大数据技术和大数据应用,包括从大数据采集、大数据存储管理处理、大数据分析和挖掘到大数据呈现和应用的全过程的技术与应用。

图1 大数据的5V特征

2.3 智能化和万物互连的基础是大数据

智能制造是指将物联网、大数据、云计算等新一代信息技术与设计、生产、管理、服务等制造活动的各个环节融合,具有信息深度自感知、智慧优化自决策、精准控制自执行等功能的先进制造过程、系统与模式的总称,具备以智能工厂为载体,以关键制造环节智能化为核心,以端到端数据流为基础,以网通互连为支撑的四大特征。

智慧城市有各种各样的自主智慧的感知器,就相当于给整个城市装上了眼睛、耳朵和鼻子,这里面有各种互连、分析、学习和决策的自主智慧计算系统,就相当于给城市装上了超级大脑。智慧城市可以把交通、市政和医疗等等系统联系起来,让居住的城市更加方便。

智能家居可以让我们生活的空间更舒适,回到家房子自动就为你调好了光线和温度,让你从一天的疲劳中舒缓下来。大到登上火星,小到微创手术,机器人帮助人类完成了许多工作,大大扩展了人类的探索能力。人工智能是人类想象力的延续,大数据是这一切的基础。

2.4 大数据是跨领域、跨系统和跨地域的数据共享

云计算、中国智能制造(德国工业4.0、美国工业互联网)、智能终端、智慧家庭、物联网、以及可能改变未来战争的那些颠覆性技术等等都是建立在大数据的基础上,都是大数据在不同领域的应用,大数据是跨领域、跨系统和跨地域的数据共享,因此只有在大数据时代这一切梦想才能变成现实。

智能化和万物互连需要大数据。

3 大数据需要大连接

3.1 大数据需要大连接实现高效安全的传输与互连

如何让跨领域跨系统跨地域的大数据实现共享呢?需要大连接。要把这样庞大的数据进行搬运和传输,实现万物的高效和安全互连,实现设备与设备、设备与人、人与数据的连接,就是大数据互连技术要解决的问题:

一是解决数据自身的传输信号完整性问题,没有损失,没有失真;二是解决数据之间及其与外界电磁兼容及信息安全性问题。

大数据的特征决定了它与传统数据是截然不同的,难以用传统数据体系结构与方法进行有效处理,因此传统的互连技术难以实现大数据传输,在理念上和技术上要有所突破。怎么突破?突破口就是标准。

3.2 只有标准才能实现有序高效安全的通过

大数据传输就好比目前人类社会的大交通大流动时代,各种高速运输交通工具蓬勃发展,海陆空相互交织。这种情况下,仅有高度发达的交通工具还远远不够,我们还需要交通规则来协调规范各种行为。人要走人行道,飞机要飞自己的航线,动车高铁运行需要在自己的轨道上,汽车要在高速公路上行驶,各行其道并按各自的规则才可能高速通过而不形成堵塞。各种交通安全事故与交通堵塞都是人流量与车流量太大又不按规则运行所致,因此交通越复杂、流量越大,标准化越重要,只有标准才能实现有序的高效的安全的通过。

3.3 只有标准才能实现大数据的大连接

与交通运输同样的道理,在大数据时代,大数据就是我们要跨领域跨系统跨地域去运输的对象,怎么运输?需要载体、方法、需要协议,也就是我们所说的标准,需要用标准来定义接口、通道数量、信号分配、传输的协议规则等等。用标准规定每个信号走哪个通道、谁先谁后,这样不同的信号才能各行其道,只有这样才能让大数据信号高效安全的通过,不致形成堵塞,才能实现大数据的大连接。

3.4 大数据互连是一种开放共享跨界的互连

大数据时代互连技术对标准化的依赖比以前任何时候都更加强烈,数据传输海量、速度超快、信号类型极多,没有开放的协议和可共享的接口,大数据互连几乎不可能实现。

大数据互连是一种开放的共享的和跨界的互连,要通过统一的协议和接口去实现。云计算、智能制造、智能终端、智慧家庭、物联网等国际标准化组织与协会都在制定相关的标准,相关标准组织机构如表1所示。

制定相应的数据访问接口规范,解决互连互通问题是标准化的重要内容之一。但是多标准反过来也等于无标准,接口和协议不同则相互无法兼容,没有通用性则无法实现数据的无缝集成和信息互访。用户被绑定在一个服务商会带来较大的风险,同时也会使行业力量分散,阻碍发展。

表1 大数据相关国际标准化组织

3.5 大数据互连是网络传输协议、总线标准与连接接口相互统一的互连

要实现未来大数据的共享和万物互连,网络传输协议、总线标准与连接接口也必须统一。众所周知,现场总线是连接现场设备与控制系统的一种开放式、全数字、双向传输、多分支的通信网络,它的出现被誉为20世纪90年代工业控制领域的一场革命[7]。由于市场利益的驱动,各公司、各国之间围绕现场总线展开的标准之争、产品之争和技术之争一直持续了10多年,出现了几十种总线标准,最终成为国际标准的是用于交通运输领域的CAN总线和FlexRay总线,以及用于工业控制领域的IEC 61158、IEC 62026协议簇中的十几个总线标准。

这些总线采用的通信协议完全不同,适用于不同的领域和系统,因此要实现这些总线的兼容和互操作是十分困难的。正如手机数据接口和汽车充电接口(IEC62196、GB/T20234-2011电动汽车传导充电用插头、插座、车辆耦合器和车辆插孔通用要求)经过多年的纷争最终走向统一,要实现未来大数据的共享和万物互联,网络传输协议、总线标准与连接接口也必须统一。

3.6 唯有标准才能实现开放与共享

随着网络技术的发展与普及,基于统一的TCP/IP通信协议的商用以太网RJ45连接器和满足现场恶劣环境的工业以太网M12连接器正在成为一种市场主流,成为IEC/TC 48的主要工作方向,近年来该标准组织推出了1G、10G高速M12连接器、光电混合型M12、电源型M12以及各种RJ45连接器标准。可现场安装、免工具、快速连接、快速接线等方面创新的M12和RJ45连接器越来越受到欢迎。

因此统一大数据的资源层、数据层、应用层等各层次数据接口,实现大数据环境下的数据流动、互操作和可移植成为广泛关注的问题。唯有标准才能实现开放和共享。

4 标准与产品深度融合

4.1 大数据互连技术要以标准为先

大数据时代,标准是领头羊,要走在前面,这与传统的标准滞后,跟在后面不同。大数据互连技术要以标准为先,用标准牵引产品,用标准牵引技术。比如56G技术,采用PAM-4四进制传输编码标准协议代替了传统的NRZ二进制编码标准协议,实现了信息量翻倍的传输,眼图由一个变成了三个,使下一代宽带通信核心网络400Gb/s及以上对数据链路传输得以实现。新的传输标准需要新的技术,从而推动了新的互连产品设计与测试技术的快速发展。

4.2 只有标准才能让产品走向大应用、产生大效益

传统的标准与产品技术是分离的,没有标准的产品有很多,标准只是产品一个可有可无的文件,没有标准照样生产、销售和应用。

但未来大数据时代,没有标准的产品将寸步难行。先有约定、协议、规范和标准,再有产品。只有标准才能让产品走向大应用、产生大效益,唯有标准才能让产品生存并延续。

4.3 标准就是产品的代名词

大数据时代,产品与标准将深度融合、密不可分。比如基于以太网布线的RJ45连接器、基于USB传输协议的USB连接器、基于HDMI传输协议的HDMI连接器、基于工业以太网的M12连接器、基于VITA46总线的VPX连接器、基于CPCI总线的2mm连接器等产品已经成为标准与协议中的一部分,标准就是产品的代名词。

5 标准是一门技术

5.1 标准不再仅仅是一种标准,更是一门技术

数据访问接口及其连接协议,要用标准去定义、统一,要达成这一切,传统意义上的标准已不适用,需要创新的标准。而要创新标准,首先要创新标准化观念。

大数据时代的标准不再仅仅是一种标准,更是一门技术。大数据时代的互连标准是一种跨界的、多学科综合的大技术。

5.2 不懂技术就做不了标准,不搞技术就做不好标准

谈到大数据互连技术就绕不开标准,其实标准也是一门技术,涉及的技术很多很深。比如,标准中包含的结构设计和技术参数,涉及到连接技术、材料技术和工艺技术;标准中的试验方法,涉及到测试技术;标准中规定的质量控制,涉及到质量和可靠性技术;标准中对应用的规定实际上是整机的应用技术,涉及到整机应用的数据传输协议、连接要求等等。因此,不懂技术就做不了标准,不搞技术就做不好标准。

5.3 把标准作为一种技术去研究去发展

标准不仅是一门技术,更是一门融合了多种技术的综合性技术。因此大数据时代,我们在研究数据高速传输技术和信息安全传输技术的同时还要把标准做为技术去研究去发展,它是大数据互连技术中的一种重要技术。

6 面向应用技术跨界

6.1 用开放的心态去跨界

大数据时代就是融合和整合的时代,不去主动融合其他行业就会被其他行业融合掉,跨界融合才有出路。连接器只是整机中的一部分,眼光不能仅仅停留在本行业之内,要用开放的心态去跨界,整合其他行业的技术,要主动融入到整机行业中。

大数据与大数据互连不是最终目的而是一种手段,它是以实现智能制造和万物互连为目标的, 因此未来大数据互连技术就是要以客户的眼光站在应用的角度去解决一个“用”的问题。

目前的互连产品品种规格超过几十万个,但“好用”的产品并不多,各种产品最终会统一到一种可共享、可通用、大众接受的、大众认可的“好用”的产品。

6.2 只有解决好“用”的产品才能最终生存

USB经历了从USB2.0(480M)到USB3.0(5G)再到USB3.1(10G)的发展,近年来出现的一种支持USB3.1标准协议10Gbps、1万次寿命、5A供电、方便盲操作的正反插性、EMI/RFI特性、小型轻薄、高颜值的USB-C型连接器首先在移动通信和汽车领域加速普及应用,有望淘汰传统的数据接口成为未来的一种主流数据接口,从而引发未来数据接口趋向大统一。

因此,只有解决好“用”的产品,才能最终脱颖而出,才能不被淘汰,才能最终生存下来。

6.3 以用户眼光站在应用角度去解决“用”的问题

从“用”能达到的效果来说,其含义各有不同,可分为“想用”、“能用”、“易用”和“经用”。

“想用”就是外观要做得好,产品长得好看有颜值、有卖相、艺术化。从当年大受欢迎的小米插线板就可以看到颜值的重要性,这需要融合工业造形设计技术、材料技术、表面处理技术等等。大数据时代,连接器的外观变得越来越重要,未来的连接器设计一定要融入工业造型的技术,产品艺术化是大趋势。

“能用”就是性能要好、满足使用要求,能够实现大数据的互连,这需要融合信号完整性技术、光电复合高速传输技术、射频微波技术、电磁兼容技术、高速仿真与测试技术等等。“能用”需要技术跨界。

“易用”,就是操作性要好、要好用、要方便、要简单、要傻瓜化、智能化,这需要融合巧妙化的结构设计技术、智能化技术等等。比如快速连接、自动锁紧、免工具,以及自动或远程控制信号通断、筛选、识别、计数、诊断、提取、处理、保护、预警、遥测、远程监测与控制等等,不再是芯片、开关、传感器、继电器、滤波器、防雷器、保险器等的简单组合,而是一种互连一体化与智能化的融合。比如突破电气2014年发布的智能WIFI插座,内置WIFI模块,实现手机移动端的远程开关控制,遥控通断与定时开关,有WIFI的地方就可以使用。

“经用”:经得用、用得起“经用”,就是可靠性要高,供应充足,价格便宜,要用得起,这是实现大统一、大应用的基础。这涉及到可靠性技术、成本控制技术、工艺制造技术等。

6.4 标准化才能实现大生产、低成本、高品质和大应用

要做到“好用”,除了需要跨界的技术融合,还需要有标准化的技术应用。大数据时代,不仅产品要标准化,零件和结构也要标准化;不仅设计要标准化,工艺制造过程也要标准化,生产现场作业方式等等都需要标准化。要把标准化的理念贯穿到每一项工作中去,让标准化成为一种习惯,变成一种日常行为,而不是一种形式,不再是为标准而标准。标准不再是一种文件,而是一种实践与应用。标准化才能实现大生产、低成本、高品质和大应用,标准化才能让大数据互连变得简单、容易和轻松。

唯有“好用”的产品才能生存下来并最终成为大数据互连的标准,一个“用”字,看起来很简单,但要做好却很难,做得好的企业很少很少。唯有做好的企业才能在未来大数据浪潮中生存下来,唯有“好用”的产品才能生存下来并最终成为大数据互连的标准。

7 放眼未来提前布局

7.1 高速连接器成为重要的发展方向和热点产品

连接器是一种电子元器件,在整个产业链中处于一种为整机配套的位置。因此其发展必将是一种既要跟随整机的发展,同时又以其自身的发展规律引导整机的发展趋势。在整机牵引、连接器自身发展和制造技术推动等三方面因素作用下,互连技术和产品总体呈现以下几种发展趋势:

1)外形尺寸越来越小:新材料新工艺使整机的这种需求成为现实;

2)性价比越来越高:日益发展和共享的制造技术使以前做不了和做工昂贵的产品变得简单和便宜;

3)功能集成度越来越高:电/光/液/气/EMI/EMP等多种技术融合,这是整机发展的需求也是连接器自身发展和升级换代上台阶的需要,如果不去主动融合进其他行业的技术,就会被其他行业的技术融合掉;

4)传输的信号速率和频率越来越高:从最早的传输速率不到1.65Gbps的2mm间距连接器发展到现在数据传输速率达到56Gbps的第七代,高速连接器的发展经历着翻天覆地的变化。

大数据时代,需要交换传输的信息数据呈几何级数的增加,系统整机开始对每个传输路径的带宽提出具体要求,作为传输路径一个环节的连接器其每个或每2个(差分)接触对传输的速度被协议标准具体化,高速连接器将面临革命性发展。

7.2 智能互连成为未来主流

未来的互连将是一种基于某种传输协议与接入协议的智能互连,这将颠覆传统的连接概念,从连接器专业的角度转变到整机系统的角度来重新定义连接的概念,连接不再是单纯的元器件和传统的接通概念,引入系统的理念,按协议接通、智能互连、无缆化、有源化、软件化、人性化、艺术化。由单一的连接器件转变为网络化的连接系统成为一种新方向,无线充电、无缆传输、光传电连、智能连接成为一种新趋势。

目前,Wi-Fi、蓝牙、无线USB、无线传感监控网络ZigBee和无线射频识别RFID(无线电感应应答和非接触式连接)以及用于机器人的非接触式连接技术发展势头迅猛。正如手机智能化一样,连接器走向智能化只是时间问题。这就要求我们提前研究大数据互连技术,要提前布局,布局标准、布局技术、布局产品。

7.3 大数据时代统一是必然趋势

大数据是一种重要的战略资源,正在不同程度的参透到每个行业和部门。大数据应用在公共管理、制造领域、电力领域、电子商务领域、智能交通领域、金融领域、科学研究领域、教育领域、健康医疗领域、电信领域、文化领域以及国防与反恐安全领域等各个领域,实现智能工厂、智能电网、智能交通、智慧医疗等等,必将改变传统的产业模式,带来巨大商机。

大数据时代,大数据需要开放共享与互连互通,从地区、国家到世界范围内的统一是大势所趋。尽管过程漫长复杂艰难,但统一是必然趋势,趋势我们无法改变。

7.4 新一轮标准之争和技术之争正在展开

为了应对统一这个大趋势,各国纷纷在智能制造、云计算和大数据等方面制定相应的标准,建立各种大数据产业联盟和标准化组织、研究标准、加紧立法、发布大数据白皮书、建立大数据实验室、制定行动方案等等,为抢占先机赢得未来展开了新一轮的标准之争和技术之争。

连接器的国际标准化组织IEC/TC48/SC 48B已经公布了其未来的战略[8],一是加紧了与其他TC/SC建立联系的步伐,明确了将系统/客户TC中倾向于SC 48B范围的新提案尽可能纳入SC 48B;另一方面,为数字化工厂、信息物理系统和产业集成发展需要的、合适的、一定程度上智能化的以及也许无触点的“连接器”,并进行标准化以加速这一工业革命的成功,这已成为IEC/TC48/SC 48B未来发展新的驱动力和机会点。

相对国外,目前我们国内连接器行业参与度很低且参与面狭窄,因此,面对大数据时代的浪潮,我们首先要做好两件事:

一是做好顶层的设计和统筹规划,把各企业组织起来、整合资源,这样才能形成合力,少走弯路、减少时间、减少重复投入、减少浪费,建立起适应大数据互连的跨界、开放和共享的国内标准体系。

二是加大力度转换IEC先进国际标准,展开与大数据、智能制造、云计算、物联网等有关的标准组织与协会之间的合作,主动与各种团体、联盟和IEC组织联合制定相关的大数据互连标准,支持大数据互连技术产品的转换及应用。建议参与的标准化组织如表2所示:

表2 建议国内连接器企业参与的标准化组织

8 结语

标准化是21世纪中国强企、强军、强国、富民的必由之路,大数据互连技术是一种面向应用的、以实现大数据高效和安全传输与互连为目标的、技术跨界、标准与产品深度融合的互连技术。大数据时代,要把标准作为一种技术去研究,从观念上、理念上、技术上做好准备,放眼未来提前布局。布局标准、布局技术、布局产品,不但要做科技强国、做制造强国,还要做标准强国。

猜你喜欢
标准化传输标准
2022 年3 月实施的工程建设标准
标准化简述
混合型随机微分方程的传输不等式
牵引8K超高清传输时代 FIBBR Pure38K
忠诚的标准
美还是丑?
关于无线电力传输的探究
标准化是综合交通运输的保障——解读《交通运输标准化体系》
支持长距离4K HDR传输 AudioQuest Pearl、 Forest、 Cinnamon HDMI线
一家之言:新标准将解决快递业“成长中的烦恼”