高校科研私有云架构模式

2020-11-26 12:07户利利
电子技术与软件工程 2020年4期
关键词:信息中心课题组虚拟化

户利利

(深圳大学信息中心 广东省深圳市 518060)

1 引言

随着信息技术的不断发展,各行各业都在信息化的基础上不断发展,对信息化基础设施的需求也不断增强,高校作为国家科研机构的重要部分对信息化的需求也不断增强。目前大部分高校没有针对科研提供的IT资源池。各课题组根据需要各自购买计算、存储等设备,设备购买后,各科研组对这些资源进行维护和保管。这样粗放的采购和保管模式存在几个问题:

各课题组缺乏专业的机房环境,只能将设备放置在办公室或者实验室等非机房环境,但是这些地方并不能满足设备需要的大功率电源以及恒温,恒湿,防尘的要求,存在电安全风险和消防风险;同时服务器的噪音和辐射比较大,不利于工作人员的健康。

各课题组缺乏专业运维人员,缺乏对IT设备故障的处理经验,难以进行有效的固定资产管理,存在IT设备丢失风险;

IT基础设施利用率低,利用科研项目经费采购的设备,在项目空闲期,无法供他人加以利用,项目结束后,所购IT设备通常虽尚未到达报废年限,但普遍缺乏有效利用。

本文探索在校内搭建一个专业的软件定义的科研私有云,对科研组的硬件资产提供统一管理和运维。该私有云采用软硬件解耦的架构,保证课题组设备选型的灵活性。各科研组提供硬件资源给信息中心,信息中心将这些硬件资源进行折算作为科研组在私有云平台上的充值费用,同时将这些硬件资源加入到私有云中,通过计费服务的方式向课题组提供计算、存储、网络等多种资源。学校信息中心负责对私有云资源池进行管理和运维,并根据各课题组的实际需求不断扩充科研云资源池。这种方式建立的科研生态云,既解决了科研工作者对IT资源维护的难题,实现IT资源的有效利用,又保证了平台后期的不断发展和壮大。

2 私有云

不同的人对云计算的理解是不同,从技术的角度来说云计算(cloud computing)是 基 于 分 布 式 计 算(distributed computing)、网格计算(grid computing)、 并行计算(parallel computing)等技术发展而来的一种新型计算模式[1]。从管理和使用的角度来说,云计算是指通过网络访问的可扩展的、灵活的物理或虚拟共享的资源池,同时这种资源池需要具有自助获取和管理的模式。云计算的资源是集中、共享且动态易扩展的,通过搭建一个统一的平台,实现对所有资源的统一管理和调配,提高了硬件资源的利用率。用户通过互联网获得自己需要的资源和服务,不需要了解云中的具体的技术细节,不需要自己去维护和管理这些硬件设施,用户只需要关注自己需要什么样的资源,以及如何得到这些资源。

根据云计算的部署方式和服务对象范围,云计算可以分为公有云、私有云、社区云以及混合云。私有云是为一个客户使用而创建的云计算平台,只允许该客户的内部成员使用和管理,私有云的管理员对私有云的基础设施具有绝对的控制权,因此私有云具有安全性高、私密性强等优点。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所。私有云可由公司自己的IT机构,也可由云提供商进行构建[2]。

3 高校科研私有云解决方案

考虑到高校各个科研课题组已经拥有的IT资产以及对IT资源安全性、可靠性、和稳定性等方面的需求,高校信息中心应以建设科研私有云为主要方向。在建设初期,建设的重点是搭建云架构,将各个科研课题组现有的IT资源接入到云架构中,通过私有云管理平台实现对这些现有IT资源的集中管理和分配。平台搭建好后,如果需要扩容,新申请入私有云的课题组可以根据云平台提供的硬件兼容表进行硬件购买,信息中心负责将这些新购买的硬件设施加入到私有云下,对私有云进行扩容和维护。信息中心将云平台上各个科研课题组购买的硬件的价值折合为课题组在私有云平台上的服务可用额度,当课题组的服务可用额度不满足项目需求时,各个课题组可以通过购买私有云相关硬件的方式实现对私有云平台服务的充值操作,通过硬件换取服务的方式实现,构建科研云生态体系。根据科研云构建的需求,我们可以得出科研私有云需要满足以下条件:

硬件兼容性要强,由于各个科研课题组购买的IT资源型号和厂商都不相同,这就要求我们的私有云平台要与硬件进行解耦,可以很好的与各个厂商主流的产品进行兼容。

部署简单、使用方便,易于维护和管理,尤其是升级和扩展。科研云平台的目的就是为了减轻各个科研课题组硬件维护的工作,如果科研云平台过于复杂,对管理员不友好,就会大大增加信息中心的工作量。并且科研云需要经常性的对系统进行升级扩容,如果扩容的操作复杂,会造成扩容工作的出错率高,影响平台上用户的使用。

数据的可靠性和安全性。各个课题组的科研数据是非常重要不能丢失的,并且在发布之前都是保密的,这就需要我们的系统能够提供备份、快照等功能,并且具有安全保护机制。

平台可以对物理GPU进行共享和调度,创建GPU计算加速的云主机。实际科研过程中,有些对计算能力要求特别高,GPU能够提供强大的浮点计算能力,应对高实时、高并发的计算场景。

平台可以同时具有计算节点、存储节点、还有计算存储融合节点。

平台具有分级计费的功能。科研云平台的持续发展依赖于各科研项目组购买的硬件资源,平台的计费功能是信息中心要求科研课题组购买硬件资源的依据。

为了增强科研数据的安全性,平台要求提供日志审计功能。平台可以记录用户对所有资源和服务的操作日志。

平台具有运维监控中心。私有云平台可以对平台运行时的各项指标进行试试监控,使运维人员能够在第一时间了解各类资源的使用情况和各项服务的运行状态,及时发现平台的可能出现的问题。

4 私有云的主要技术

4.1 分布式微服务架构

微服务架构是将一个整体的应用划分为一些小的服务,每个服务关注于完成一个功能,运行在其独立的进程中,各个服务之间相互协调配合,为用户提供服务。各个微服务之间是松耦合的,互相不依赖。分布式系统是多个处理机通过通信线路互联而构成的松耦合的系统。分布式微服务通过去中心化的方式,实现微服务跨物理硬件和空间的重复部署和跨硬件迁移。

4.2 分布式存储

分布式存储系统采用冗余架构,随着集群节点横向扩展,系统的性能和容量线性增加。整个系统不存在集中管理控制节点,节点之间通过内部高效的分布式协议实现通信。分布式存储分为四层,第一层存储硬件,通过通用的服务器构建统一的存储资源;第二层存储引擎,提供分布式存储的基本功能,包括强一致性协议、数据多副本、数据智能分布,以及在节点故障时候,集群状态监测与故障自愈、数据并行重建等;第三层存储服务,提供快照、容灾备份、迁移、自动精简配置等高级功能;第四层存储运维管理,实现分布式存的全局配置、升级,系统监测等。

4.3 虚拟化技术

虚拟化技术是云计算中的核心技术,虚拟化包括了三层含义:虚拟化的对象是各种各样的资源;经过虚拟化后的逻辑资源对用户隐藏了不必要的细节;用户可以在虚拟化环境中实现其在真实环境中的部分或者全部功能[3]。虚拟化平台是利用虚拟化技术,将各类硬件资源虚拟化成统一的资源池,简化了资源配置和管理,具有高可靠性、高弹性的同时提高了硬件的利用率。

目前已经有的虚拟化技术有超过了60中,基于X86体系的也已经超过50中,目前比较广泛使用的有vmware的ESX,微软的Hyper-V、开源的XEN和KVM。通过这些方案,用户可以实现物理资源的虚拟化。

5 科研云的架构设计

高校科研云通过将项目组的硬件资源加入到私有云上,由信息中心统一管理和运维的方式,既可以将科研工作者从硬件资源管理的工作中解放出来,又可以有效的提高硬件的资源利用率。本文依据云计算的特点,对科研私有云的架构进行设计,该结构主要分为物理资源池、软件定义资源池、云管平台和云服务四层架构。

5.1 物理资源池

物理资源池是由各课题组提供的基于标准X86的硬件设备和各种网络交换机组成的分布式集群。由于科研云的硬件来自于各个课题组,厂商和型号都不相同,这就要求平台要兼容HP、浪潮、华为、华三等厂商的主流产品,且硬件的配置也要求更为灵活,可以是只提供计算能力的服务器,可以是提供存储能力的设备,也可以是计算和存储融合的服务器。

5.2 软件定义资源池

软件定义资源池由虚拟化计算资源池、软件定义的分布式存储资源池和软件定义的网络资源池组成。计算虚拟化需要采用主流的虚拟机化技术,存储虚拟化需要采用分布式冗余架构,要求系统具有可靠性、扩展性和自恢复能力,并且要求系统具有多副本保存机制,保证数据的可靠性,同时采用缓存加速的技术,提高存储的性能。网络虚拟化采用SDN网络提供多种灵活组网方案。

科研私有云平台中,需要对用户所用的资源进行计费,对用户的身份进行认证管理以及对资源进行监控等功能,为了能有效利用已有的硬件设备,我们可以采用第三方的云管平台,要求这个第三方的云管平台能够支持较多的虚拟化技术和硬件平台,也就是我们的科研云的第三层控制平台层。

5.3 云管平台

云管平台对科研云的创建影响很大。科研云的底层硬件资源型号和厂商丰富,而这些型号和厂商不同的硬件资源由不同的虚拟机管理程序服务器(Hypervisor或者 VMM)管理,而这些Hypervisor之间的差异性较大,很多平台只提供部分Hypervisor的适配。如何支持管理大部分主流的 Hypervisor,如KVM、Xen Server、Vmware等成为云管平台中的关键技术[4]。

云管平台提供一系列服务治理功能,实现云服务的全局控制、调度和管理,包括计算管理服务,存储管理服务,网络管理服务,认证授权服务,配额管理、计费服务等,不同的控制服务管理之间相互独立,单个组件升级不能影响其他组件。同时,云管平台要能够实现集群管理和资源调度,且服务要求具有自愈能力,以保障服务的高可靠性。

多租户技术和计费服务是科研云生态系统建立的关键,多租户技术使得多个的租户能够共享同一套程序资源的同时,也保证了用户间数据的隔离。各个科研单位通过购买云平台相关的硬件资源实现对平台的充值,信息中心根据各类服务的成本、供需关系等因素制定计费策略,对用户使用的硬件资源、网络服务等计算服务费用,以此为基础,生成账单。同时因为计费功能,用户也会更加合理有效的使用平台。

5.4 云服务

云基础服务主要包括计算服务、存储服务以及网络服务,提供云主机、容器、云硬盘、VPC等资源给用户。

科研云平台的运维是由信息中心负责,考虑到信息中心人员和技术有限,而科研云平台可能需要不断进行扩容,这就要求我们的云平台的部署和扩容要做到自动化,可以通过图形化向导式操作,实现快捷部署和扩容。

6 结束语

科研私有云可以提高硬件资源的利用率,降低资源消耗,提升科研工作者的工作环境,减少了科研工作者的IT运维工作。科研组提供科研云平台硬件资源,科研云平台通过计费的方式提供给科研组计算、存储和网络等服务,信息中心负责对科研云平台的日常运维和扩容,通过这种方式建立科研云平台的生态系统,本文根据科研私有云相关的功能要求,给出了科研私有云的解决方案,参考云计算的架构提出了科研私有云的架构设计。

猜你喜欢
信息中心课题组虚拟化
原科技大学新能源开发与应用课题组介绍
2019年中国化工信息中心 7大期刊电子版联合订阅:
基于OpenStack虚拟化网络管理平台的设计与实现
2019年中国化工信息中心 7大期刊电子版联合订阅:
对基于Docker的虚拟化技术的几点探讨
虚拟化技术在计算机技术创造中的应用
重庆市地理信息中心
存储虚拟化还有优势吗?
“做”与“作”的推荐用法“做”与“作”的用法研究课题组