一种多云管理平台的设计与实现

◆何锡点 周 英

一种多云管理平台的设计与实现

◆何锡点 周 英

（中国电子科技集团公司第二十八研究所 江苏 210007）

本文针对多个同构或异构技术体制的私有云的互联互通、统一纳管、多云协同等问题，提出一种多云管理技术，从同构多云管理、异构云管理以及多云运维管理等方面进行多云管理平台的设计，实现对同构或异构的多个私有云的统一管理、综合运维、互联互通和协同运行，支撑未来一体化联合资源调配以及战场环境下高效信息处理的需要。

私有云；多云管理；互联互通；异构云管理

云计算历经以虚拟化为基础的第一阶段，以基础设施资源服务化为基础、引入软件定义技术的第二阶段，以基础设施即服务、平台即服务、数据即服务融合为代表，分布式云管理[1]、糅合公有云及私有云而形成混合云能力的第三阶段。目前，正进入全面的多云阶段，多云（multi-cloud）是一种新兴的云计算使用模式，是指使用超过一个软件计算的云计算服务。企业在实施云战略的时候，采用多云架构主要有成本考虑、防止厂商锁定、数据安全等原因。

随着信息化建设的快速发展，云架构在各个领域已进入实际应用阶段。各部门因为自身业务的需要，基于云计算技术规划或建设自己的数据中心，各个云中心有采用相同技术体制的云计算平台，也有采用不同技术体制的云计算平台，多朵云之间没有互联互通，无法进行统一管理，跨中心资源调配困难。

针对上述问题，文献[2-7]进行了大量研究，但主要针对民用领域的多云、混合云（公有云+私有云）的管理、监控以及调度等问题，并未针对多个私有云的互联互通、异构云的统一管理、协同进行规划设计。本文聚集在多个私有云互联互通、统一纳管、多云协同等问题，提出一种多云管理技术，对现有的数据中心软硬件资源进行合理整合，实现对同构或异构的多云进行统一管理，实现各个数据中心之间的协同运行、统一管理、互联互通等功能，充分利用好这些数据中心强大的计算存储资源，发挥分布式计算的最大效能。

1 总体设计思路

本文研究多个私有云的统一管理技术，通过对同构多云管理、异构云管理、互联互通接口、多云运维管理设计，构建统一的多云管理平台，实现对基于OpenStack+KVM的技术体制的同构多朵云管理和对KVM、VMware EXSi、Xen等技术体制异构的多朵云的统一管理，具体的总体设计思路如图1所示。

（1）多云统一管理平台

通过研究多云管理门户、多云资源管理、云服务管理、统一认证管理、多云运维监控以及多云灾备管理等技术，完成同构多云和异构多云的统一管理的框架、多云资源管理和多云运维的功能设计。

（2）异构云管理

通过研究VMware/ESXi、Xen的异构虚拟引擎的接入适配接口，可扩展的资源管理架构、基于标准转换的资源总线以及统一的监控机制，实现对异构云（VMware/ESXi、OpenStack/KVM、Xen）的统一纳管。

（3）北向互联互通接口

根据相关领域的云平台互联互通的标准，设计互联互通的北向接口，用以兼容第三方的云平台管理，实现不同厂商的云平台的互联互通。

（4）多云运维管理

通过设计分布式统一运维和运维管理的分层框架，提供全面、统一、多维度的管理监控子系统，实现对多个云中心中各类海量异构资源和管理监控。

图1 多云统一管理思路

2 同构多云管理

2.1 多云资源管理

多云资源管理支持不同厂商x86服务器的统一管理，支持跨地域、跨中心的分布式部署和统一管理；支持统一的平台管理多个云中心。针对不同云中心提供针对性的管理配置，不同云中心资源相互隔离，互不影响，支持跨地域的资源池部署和管理，提供对分布在不同地理位置的各类资源池进行统一的管理调度。多云管理由多个云中心资源统一管理、异构云平台管理、灾备管理（异地容灾管理和同城双活管理）等模块组成。

多云资源管理通过构建统一的多数据中心云计算管理平台，对各云中心内的资源进行统一的管理和调配。支持同时接入多个分布在不同地域的资源池，各类资源池进行统一的管理和资源的统一调度，以实现跨数据中心、跨资源池和跨集群的资源分配。

多云资源统一管理主要功能包含以下几个方面：

（1）多云资源池管理：可以同时接入分布在不同地域多个资源池，实现对多云资源池的管理，并对业务部门分配虚拟数据中心（VDC），一个VDC可以使用多个数据中心资源池下虚拟资源，VDC用户可以选择具体数据中心下的具体资源池申请创建云主机、云磁盘等虚拟资源。

（2）多云的云资源和非云统一管理：云资源管理，包括管理云资源（虚拟机、容器、云硬盘、虚拟镜像、虚拟网络等资源）的自动化部署、操作能力；云资源的性能、拓扑、容量管理；云资源和非云资源拓扑映射关系。非云资源管理，包括管理物理资源（物理机、存储、网络设备）的性能、告警和拓扑。

（3）基于SLA（Service-Level Agreement，服务等级协议）的资源调度：一个可用分区可以包含多种SLA等级的集群、存储池，租户申请云主机、云磁盘时可以指定SLA等级，例如可用分区下可以包含不同存储介质（SATA、SAS、SSD）的存储池，租户可以申请指定存储介质级别的磁盘。

2.2 统一管理框架

多云资源统一管理框架由单中心管理、多云统一管理以及虚拟数据中心三大部分组成，具体如图2所示。

图2 多云资源统一管理框架

多云管理的架构是集中+分布的管理架构模式，首先，多云管理系统对分布式中心的管理是集中的管理模式，为了避免多云管理系统的单点故障，多云管理系统采用多活技术，分布部署在多个中心中，基于负载均衡技术，可以同时对外提供服务，避免多云管理系统的单点故障。

单中心云管理系统可实现资源池的统一管理，是服务器虚拟化更上一层的管理软件，可以管理物理资源和虚拟资源，并且可以对资源监控管理，进行自动化运维。具体包括：管理物理资源（物理机、存储、网络设备）的性能、告警和拓扑。管理虚拟资源（虚拟机、容器、云硬盘、虚拟镜像、虚拟网络等资源）的自动化部署、操作能力；云资源的性能、拓扑、容量管理；云资源和非云资源拓扑映射关系。单中心云管理系统部署于每个物理数据中心，对物理数据中心的所有资源统一管理，同时对上层分布式数据中心管理提供接口。供上层分布式云操作系统集成，实现多云、多资源池的资源的统一管理、监视与资源调度。

虚拟数据中心（VDC）是一种逻辑隔离的技术，是软件定义数据中心（SDDC）的一种具体实现，VDC的资源可以来自多个物理数据中心的不同资源池，可以将虚拟资源隔离出虚拟数据中心。部门或组织可以向全局业务管理员申请使用虚拟数据中心，一次性获得批量的计算、存储和网络资源配额，在资源配额内，VDC业务管理员可以自由支配计算、存储和网络资源。

2.3 多云互联互通接口

多云管理平台在原生OpenStack接口基础之上进行封装，根据相关领域的云平台互联互通的标准，设计互联互通的北向接口，用以兼容第三方使用的云平台管理。互联互通接口主要包括获取TokenID、获取租户ID、获取网络详情、获取安全组信息、获取镜像列表以及创建、关闭、开启、删除虚拟机等基础接口，并可根据实际需要，进行其他模块接口的封装。

3 异构云管理

3.1 异构资源管理架构

在多云资源管理平台中，设计了异构资源管理架构满足资源整合的要求。在异构资源管理架构中，主要关注点是多种异构资源的整合使用以及与运维系统的深度整合。考虑到未来资源的扩展，整合层采用可扩展的架构，为此制定了统一的资源接入和输出规范。以统一架构为技术手段，以规范为管理手段，用以综合解决异构资源整合问题，整合层架构图如图3所示，具体如下：

（1）可扩展的资源管理架构。采用统一的资源描述模型、统一的注册和发现机制，确保各类资源的统一接入和管理。

（2）基于标准转换的资源总线。采用不同计算机虚拟化控制协议，实现控制指令、存储指令、消息格式的标准化转换。

（3）统一的监控机制。采用统一监控标准和监控内容，实现各类物理资源、虚拟资源和容器资源的统一监控、故障发现和联动处置。

图3 异构资源管理架构图

3.2 异构资源整合层设计

通过设计异构资源整合层，满足异构多云的资源管理能力，支持主流的异构虚拟资源池，包括支持KVM虚拟化平台、Xen虚拟化平台以及VMware虚拟化平台的异构虚拟资源池的统一监控、管理以及系统托管，同时可对接其他厂商的基于OpenStack（L版及以上版本）标准接口的虚拟化平台，具体设计思路如下：

（1）统一资源管理与监控标准模型

统一资源模型：将基于KVM、Xen、VMware ESXi的x86服务器虚拟化技术、以及来自不同厂商服务器设备以及异构存储设备抽象为统一的资源模型。

统一资源控制标准：将不同架构的计算资源、不同厂家的存储资源以及不同厂家的网络资源的控制操作分别进行统一抽象，抽象为统一的计算资源控制模型、统一的存储资源控制模型、统一的网络资源控制模型，实现计算资源、存储资源以及网络资源控制标准化。

监控标准模型：主要对象有物理服务器，网络设备（交换机、路由器、防火墙等），存储设备的监控。监控指标主要包括CPU利用率、内存利用率、磁盘利用率以及网络带宽等指标。根据设备类型不同而略有不同，监控采集层软件将监控结果上报给运维中心，由运维中心进行统一展现。

（2）标准转换的资源总线

基于标准转换的资源总线，完成对各种计算资源、存储资源以及网络资源消息存储，并完成对各种架构的计算资源、网络资源以及存储资源消息的转换，实现控制指令、存储指令、消息格式的标准化转换。

（3）资源统一接入

对云资源和非云资源的统一接入，实现平台对各类型资源的管理与监控，具体体现在对虚拟平台和物理资源的告警监控能力上。支持对物理资源，包括服务器、存储和网络设备的告警监控能力；同时支持KVM虚拟化平台、Xen虚拟化平台以及VMware虚拟化平台对接，获取虚拟化平台的告警数据。云资源与非云资源统一管理和监控包括：（1）虚拟机和裸机管理统一管理；（2）对传统设备，包括服务器、网络设备、存储，以及虚拟化设备的统一监控；（3）提供统一的资源发放，提供集中的告警呈现和处理界面，以及提供设备性能监控和报表功能。

（4）可扩展的资源管理架构

采用统一的资源描述模型、统一的注册和发现机制，确保各类资源的统一接入和管理。通过标准化定义各类资源的描述信息、监视信息、控制指令规范，可在不考虑具体基础设施类型的前提下，开展资源组织、管理策略制定、控制流编排等工作，降低管理的复杂性，提升系统的可扩展性。

（5）云计算管理平台整合

各资源的管理系统需要规范所提供的能力，对外提供管理与监管接口，以达到云计算资源池统一管理，统一监控的目的。资源接入规范的制定，可以使云中心内部各个云底层资源以及资源管理系统之间互联互通，并且以标准为准，要求厂商提供统一的云相关设施接口。

4 多云运维管理

4.1 分布式运维方案

多云运维管理系统定位于面向多云的分布式云运维场景的管理，南向接不同的云管理系统或监控系统，并且可以支持跨地域，支持多云运维场景。多云运维通过提供全面、统一、多维度的管理监控子系统，管理监控多个云中心中各类海量异构资源，包括服务器、存储网络设备等硬件资源，各种操作系统、数据库、虚拟资源等软件资源；并且能够发现故障产生告警，有效提高响应速度，节省运维成本。监控管理子系统提供大规模数据中心的监控，支持分布式部署，支持异构平台；运维管理系统同时也是解决方案的统一维护管理门户入口，作为运维人员的工作平台，在首页上除了提供了监控管理系统的各个功能的链接之外，同时也提供了到各个其他部件管理维护UI的统一入口和链接跳转。多云统一运维方案如图4所示。

图4 统一运维方案

（1）云本地管理层

在每个云中心的部署本地云资源管理系统和运维监控系统，负责本地的运维操作、配置和监控数据采集；提供丰富的监控项类型包括：CPU使用率、CPU负载、内存使用率、网络流量、磁盘空间使用率、进程状态数等；提供对Linux/Unix服务器以及Windows服务器的监控；通过对监控数据分析，对云资源管理平台其他高级功能进行数据支持，进行负载均衡，有效保证应用的连续性及快速响应。

（2）全局管理层

在主中心管理节点部署多云运维管理系统，将各个云中心的云资源监控信息和非云资源监控信息都汇聚起来进行统一运维管理；在运维管理系统上还可以将运维监控数据与业务相关数据进行联动综合分析，提供对分布在不同地理位置的各类资源池进行统一的拓扑呈现（含机房3D展示）；提供对分布在不同地理位置的各类资源池进行统一的机房（动力、空调等）监控；提供对分布在不同地理位置的各类资源池进行统一的性能统计功能；提供对分布在不同地理位置的各类资源池进行统一的操作审计功能。

4.2 运维管理框架

运维管理的管理框架被分为功能展现层、业务逻辑层、数据处理层、数据采集层、基础资源层五层，具体如图5所示。

（1）功能展现层主要向云数据中心管理人员提供数据中心资源监控的直观的图形和报表展现、日志管理和报警处理功能。

（2）业务逻辑层主要完成对监控业务逻辑的处理，针对数据处理层的数据进行资源管理、性能监控、告警处理、阈值预警等业务逻辑的处理并向功能展现层提供相关业务逻辑展示数据。

（3）数据处理层主要是对采集到的监控数据进行统计、分析和挖掘，对数据中心的状态做出准确的评估和预测，为功能展现层提供数据支撑。

（4）数据采集层是监控平台最重要的部分，承担了监控平台最重要的数据采集功能，也是平台性能的关键，该层配置多模式可扩展的适配器，实现对监控数据的采集，并存储到数据库中。

（5）基础资源层是云数据中心的各种硬件和软件资源，包括各种服务器、存储、网络设备、数据库和应用服务等。

图5 云资源监控平台的管理框架

5 结束语

本文聚焦多个同构或异构技术体制的私有云的互联互通、统一纳管、多云协同等问题，提出一种多云管理技术，通过设计多云资源统一管理框架、互联互通接口、异构云资源的统一资源描述模型、统一的注册和发现机制，多云的分布式云运维等方案，构建多云管理平台。实现对现有的云中心软硬件资源进行合理整合，对同构或异构的多云进行统一管理、协同运行、互联互通以及多云统一监控运维。

[1]黄峰.分布式云数据中心架构及管理关键技术[J].自动化仪表，2014，35（8）：1-9.

[2]杨靖琦，胡勋.多云平台监控系统的设计与实现[J].微型机与应用，2017，36（10）：102-105.

[3]陈天，陈楠，黄志兰，等.基于OpenStack的异构混合云解决方案[J].电信科学，2015，7.

[4]邹丰阳.混合云环境下的资源管理及调度算法的研究[D].长春：东北师范大学，2013.

[5]李建丽.混合云环境下多目标优化的云资源调度研究[D].北京：北京交通大学，2017.

[6]罗斌.基于OpenStack的混合云负载均衡方法研究与实现[D].武汉：华中科技大学，2015.

[7]徐晓峰，徐劲松.基于OpenStack的异构混合云解决方案[J].电信科学，2016，2.