大数据环境下数据中心运维模式研究

2020-12-28 01:59李玉坤
科技资讯 2020年31期
关键词:数据中心大数据

李玉坤

摘  要:大数据时代的来临,各种新兴技术的广泛使用,使得数据成为社会各项活动的重要元素以及驱动社会发展的新型生产资料,作为承载巨量数据交互的数据中心,面临着巨大的压力与挑战。该文在对数据中心当前的发展现状概述的基础分析了其面临的3个方面的问题,并给出了运维管理体系变革的一些对策与建议,希望能给相关研究人员提供参考。

关键词:大数据  新型生产资料  数据中心  运维模式

中图分类号:TP308                           文献标识码:A文章编号:1672-3791(2020)11(a)-0015-03

Research on Operation and Maintenance Mode of Data Center under Big Data Environment

LI Yukun

(College of Computer Science, Guangdong University of Science and Technology, Dongguan, Guangdong Province, 523083  China)

Abstract: With the coming of big data era and the extensive use of various new technologies, data has become an important element of social activities and a new means of production that drives social development, data center bears huge amounts of data interaction, it's facing great challenges. Based on the analysis of the current development status of the data center, this paper analyzes three problems it faces, and puts forward some countermeasures and suggestions for the reform of operation and maintenance management system, hoping to provide some ideas for the relevant researchers.

Key Words: Big data; New means of production; Data center; Operational mode

隨着全球信息技术的飞速发展,大数据、云计算、人工智能、物联网等各种新名词不断涌现,一个全新的信息化时代—— 大数据时代,已经到来。数据的作用愈加凸显,成为一种关键的生产要素,在国家“十三五”规划中将“实施国家大数据战略,推进数据资源开放共享”放在了重要位置,大力加强对数据的存储分析及应用,更是从国家策略层面强调了“数据无价”。

1  大数据及数据中心的概念、特征、作用

大数据(big data),又称巨量资料,指的是所涉及的资料量规模巨大到无法通过目前主流软件工具在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。业界对大数据的特征概括为5个V:Volume(数据量)、Variety(种类)、Value(价值)、Velocity(速度)、Veracity(真实)[1]。(1)数据量巨大:数据的采集、存储、计算的量非常大,数据起始计量单位至少是PB。(2)数据种类繁多:包括结构化、半结构化、非结构化数据,如视频、音频、图片、文字、地理位置信息、链接信息等,多种类型的数据需要更强的数据处理能力。(3)数据价值密度低:披沙拣金,通过强大的机器算法迅速地完成数据的价值“提纯”,从海量数据中提取有效数据。(4)处理速度快:数据增长速度、处理速度快,要求高时效性,这是大数据不同于传统数据挖掘的显著特征。(5)数据真实性:数据的重要性在于对决策的支持,因此数据要准确可信赖,高质量的数据是制定成功决策的坚实基础。

数据中心是全球协作的特定设备网络,用来在互联网络基础设施上传递、加速、展示、计算、存储数据信息。一个完整的数据中心通常包含各种类型的功能区域,如主机区、服务器区、存储区、网络区及控制室、操作员室、测试机房、设备间、进线间、资料室、备品备件室、办公室、会议室、休息室等。根据所有性质或服务的对象,可以分为互联网数据中心(IDC)和企业数据中心(EDC)。IDC处理的数据规模庞大,数据类型繁杂,一般为电信业务经营者所有,面向客户,为其提供服务器托管、租赁以及相关增值等方面全方位、专业的服务,客户不需要自建机房、综合布线,也无须建立专门的运维团队。EDC处理的数据规模相对较小,数据类型较为单一,一般为企业或机构自建,主要服务于自身业务,有专门的运维团队。

目前几乎所有大中型机构,如政府、企业、科研机构、高校等都建立了自己的数据中心,全面管理该机构的IT系统。在大量数据中心的支持下,覆盖全球的Internet和无数机构的业务才能正常运转,各种数据中心已经成为像交通、能源一样的经济基础设施。但是,数据中心在给社会生产带来巨大效能的同时,也给人们带来一系列严峻挑战,主要体现在运维、能源消耗、成本、应变速度、安全等方面。

2  数据中心运维模式转变的必要性

大数据时代的来临,促使数据中心的数量急速增长,规模愈加庞大。从早期功能简单、架构单一的单个机房,到如今功能完备、架构复杂的多中心、大规模以及超大规模数据中心,基础设施的规模及数量呈爆发性增长[2],根据工信部2018年5月公布的《全国数据中心应用发展指引(2018)》数据显示,截至2017年底,我国在用数据中心的机架总规模为166万个,同比增长33.4%,其中大型、超大型数据中心的规模增速达到68%。规模激增的背后是一系列亟待解决的问题,现阶段数据中心主要面临以下3个问题。

2.1 建设成本高

一般而言,一个较为完备数据中心系统涵盖屏蔽壳体、装饰装修、供配电及照明系统、UPS系统、空调及新风排烟系统、机柜及封闭冷通道系统、环境监控系统、消防系统、综合布线系统、模块化机房等[3],数据中心的建设需要投入大量的人力、财力与物力。

2.2 运行耗能高

随着5G、大数据、云计算等新兴技术的大规模推广应用,用户需求正呈几何级爆发之势,我国数据中心的数量随之急速攀升,相应的用电量也在急剧增加,与传统能耗单元不同,数据中心需要7×24 h不间断运行,其运行方式势必会增加能耗。工信部2019年2月公布的数据显示,截至2017年底,各类在用数据中心达28.5万个,全年耗电量超过1 200亿kWh,约占我国全社会用电量的2%,超过全球单座发电量最高的三峡电站当年976.05亿kWh的发电量[4]。与此同时,仅经营互联网业务的数据中心,规划在建机架到2017年底就达107万个。国家节能中心及中国电子节能技术协会数据中心节能技术委员会联合发布的统计数据,2012—2016年,我国数据中心的年耗电量增速始终维持在12%以上,最高达16.8%[5]。而实际上由于各种原因,企业数据中心耗能很难全部统计进去,这意味着数据中心的实际能耗往往高于统计数据。高能耗不仅给机构和企业带来了沉重负担,也造成了全社会能源的巨大浪费。

2.3 运维管理难度大

(1)巡检难度增加。以往万平米以内的数据中心,人工巡检一次2~4 h,如今中心规模动辄数十万平米,需要更多的运维人员分布在不同的责任区,管理的难度和成本大大增加。

(2)安全风险增加。以往运维人员接触的是低压(低于1 000 V),现在供电设备、发电机、冷机都是高压供电,电压等级提高,维护安全要求提升。

(3)事故影响范围广。规模集中导致风险攀升,如2019年8月份发生的亚马逊数据中心重大宕机事故,导致全球大面积服务和应用中断,损失惨重,運维管理压力超前。

(4)新兴技术要求更加专业的运维人才。大数据、AI、云计算、水下数据中心、液冷服务器等新技术不断被创造和应用,运维管理需要更加专业的人才。

3  大数据环境下数据中心运维模式的改进

大数据环境下,数据中心的数据来源主要有以下几个方面:(1)配置管理数据库信息,它广泛运用在多种运维场景模式,如自动化运维、智能运维等,主要存储与管理企业IT架构所涉及的各种设备的配置信息。(2)监控系统信息,主要包括电流、电压、通信链路状态、温度、湿度等实时指标,服务器状态信息。(3)管理流程信息,主要包括服务申请记录、工单记录、软硬件设备部署信息等。(4)人员设备管理信息,主要包括视频监控记录、人员出入记录、设备出入库管理。(5)服务支持类数据,终端用户向运维人员寻求服务支持,会话工具上的对话数据。数据中心的数据类型复杂,数据体量巨大,运维管理模式可以从以下4个方面改进。

(1)构建3D运维管理平台。通过构建一个“所见即所得”的平台,将资产、容量、能源、电力、IT监控等软件集中呈现,使运维人员对当前数据中心的各种设备的运行状态和问题所在了如指掌。

(2)部署巡检机器人。数据中心巡检机器人,集成视频分析、图像采集、数据存档、环境探测、语音播放等功能,在对机房进行全方位监控的同时,还可以同步采集热成像、声音、温度、湿度、烟雾等信息,支持同步传递实时画面,实现数据中心真实场景的实时可现,大大延伸数据中心管理人员的管理视角[6]。此外,由于机器人自身工作的稳定性与较强的环境适应性,即使是在数据中心发生意外,且人工无法进入故障现场时候,它依旧可以照常工作,找出故障点与故障原因,为应急计划的制订提供有效信息支撑。随着无轨化导航技术的不断完善,加之机器人本身具有更加轻量灵活的优势,因此,用机器人代替人类进行一些复杂或者高危的巡检工作将成为数据中心的应用趋势。

(3)虚实结合—— VR助力。VR是利用电脑模拟产生一个三度空间的虚拟世界,给用户提供关于视听、触觉等感官的模拟,给使用者带来特有的沉浸式体验,帮助人们更好地了解周围环境,对周边情况进行决策处理。身处三维空间带来的视觉感受,远高于从屏幕中获取信息的体验,对运维人员来说,可以从更加直观的视角去了解数据中心房间、机柜设备的分布等信息。

(4)增强现实——AR运维。AR是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术。它可以把原本现实世界中无法直接体验到的实体信息(如机房中某一机柜设备的型号、编号、负责人等),通过技术进行呈现并叠加到真实物件(机柜)上,被人类感官所感知,从而达到超越现实的感官体验。AR技术运维数据中心,可以做到对视线范围内的资产了如指掌。戴上AR眼镜,通过手势操作,可以迅速选定想要查看的机柜,对应设备的虚拟标签即可自动浮现,运维人员可查看设备的动态运行状态。此外,AR运维模式还支持远程监控与协助,通过AR运维引擎调用远程协助模块,远程专家可以和运维一线人员同一视角,同步看到故障现场现状,并与一线工程师实时沟通,调取数据进行综合分析,保障一线运维的顺利进行,提升运维效率。

4  结语

大数据时代,数据中心需要建立集中高效、性能优质、快速响应的智能一体化运维生产管理模式,对数据中心的网络、系统、设备、设施,实行集中监控、集中IT平台支撑、垂直专业管理、统一运行调度,建设智能集中监控信息化平台,实现可用性、安全性和预警控制。在保证安全稳定运行的前提下,进一步追求“绿色化”“智能化”“高效化”,降低建设运营成本,减小运维管理难度,加快业务需求响应速度,从而更好地满足用户需求。

参考文献

[1] 孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,50(1):146-169.

[2] 龚慧钦,夏铭,黄香.金融行业关键信息基础设施发展趋势——基于数据中心机房基础设施建设的情况分析[J].中国金融电脑,2020(1):66-70.

[3] 郭栋.大型绿色数据中心的规划研究[D].复旦大学,2008.

[4] 晁晖.中国新能源发展战略研究[D].武汉大学,2015.

[5] 范斌.我国光伏产业政府规制研究[D].南京航空航天大学,2018.

[6] 况逸群.面向社会机器人的3D手势建模、识别与学习[D].电子科技大学,2019.

[7] 邓颂清,程尧.大型数据中心一体化运维管理平台的建设模式研究[J].移动通信,2016,40(14):66-70.

[8] 黎建辉,沈志宏,孟小峰.科学大数据管理:概念、技术与系统[J].计算机研究与发展,2017,54(2):235-247.

猜你喜欢
数据中心大数据
关于间接蒸发冷机组在数据中心中应用的节能分析
2018年数据中心支出创新高
北京科创新型云数据中心
2017第十届中国数据中心大会榜单
大数据环境下基于移动客户端的传统媒体转型思路
基于大数据背景下的智慧城市建设研究
数据+舆情:南方报业创新转型提高服务能力的探索
新一代数据中心建设有“书”可循