中国移动IT云资源池自动化部署技术应用及问题分析

孙翠锋，胡建村，张 琳

（中国移动通信集团信息技术中心，北京 100037）

0 引言

云计算（Cloud Computing）也可以称作为网络计算，是属于互联网计算方式的一种计算方式，基于此方法，能够使共享的软硬件资源和信息按相关的需求传输给计算机终端以及其他设备，运用服务商所提供的电脑设备作为计算资源[1]。其最大的特征主要体现为高性能、低成本、可平滑扩展等。云计算为IT技术发展提供了新的技术手段和业务模式，这不仅可以更好地降低企业的维护建设与成本，也为企业技术、业务和管理创新带来了新的契机[2]。本文研究大规模云资源池建设部署的自动化部署技术，并对问题进行分析探讨。

1 中国移动IT云概述

随着中国移动集团公司信息技术中心（以下简称IT中心）的成立，中国移动一级IT云相关建设、运营及维护进度不断加快。IT云资源池依照“扁平化架构、多点多活”，逐步形成“一云多中心”布局，推动全网IT能力整合，面向公司内部IT系统提供基础设施云服务，承载内部各单位IT系统。

1.1 中国移动IT云资源池架构

中国移动IT云平台遵循OpenStack标准建设，IT云计算平台由云资源管理平台和一个或多个资源池系统组成，云资源管理平台包含多个远端资源管理模块。

1.1.1 云资源池管理平台

云资源池管理平台负责IT云计算各种资源及服务管理，云资源管理平台支持OpenStack标准接口，同时通过与资源池系统之间的资源服务接口下发资源管理指令[3-4]。

1.1.2 资源池系统

资源池系统由远端资源管理模块和提供IT基础资源的各类系统软件或设备组成，资源池系统遵循OpenStack标准架构建设，资源池系统通过虚拟化和分布式集群等技术构建各种类型的IT资源，这些资源具有弹性供给和高可扩展的特点，通过远端资源管理模块实现基本的属地运维[5]。为实现对多资源池大规模资源的管理，增强资源池的可靠性和规模，每个资源池系统由一个或一个以上资源池节点组成，每个资源池节点内包含多个POD。

（1）资源池节点：考虑机房局址等实际情况，分为多个物理/逻辑区域；拥有独立的数据中心基础设施及网络出口，任意一个资源池节点失效不会影响其他资源池节点的正常工作。资源池节点之间采用高速低延迟方式连接，保证分区之间的通信通畅。

（2）POD：资源池节点由多个最小交付单元（POD）组成。每个POD是以一组核心交换机为单位的建设单元，包含约1000～3000台万兆/25G服务器；POD之间通过二层或三层组网技术实现水平扩展，可达到数万台服务器规模。

按照部署服务器的类型不同，分为业务POD和存储POD。业务POD内部署计算节点服务器，采用SDN组网，每个POD单独部署OpenStack模块、SDN控制器和SDN转发设备[6-7]。

1.2 资源池中网络部署SDN技术

SDN（Software Defined Network，软件定义网络）是一种新型网络创新架构，其核心思想是将网络设备的控制层面与转发层面分离，这样可以有效地控制网络流量，从而为其创新提供相应的平台。SDN主要好处如下。

（1）面向业务：能够轻松地集成计算功能，实现对资源的合理管理和维护。因此，网络和业务目标保持一致[8]。

（2）可定制：每位开发者都可以编写灵活使用网络和操作的软件。

（3）更加敏捷：不需等待厂商进一步提供服务，用户就可以快速地获取所需的功能。根据业务需求进行部署，快速上线服务。

（4）更简单：整个IT工作状态可以由一个控制点来管理。由于可以实现网络的自动配置，从而降低了人工配置数量；对于Openflow的SDN解决方案是一个公开的标准方法，这样就可以为不同的供应商提供一个开放的市场。

2 IT云建设部署过程中面临的问题

2.1 建设规模大造成交付压力大

一级IT云在建设过程中采用模块化建设思路，每个POD作为一个独立建设模块。每个POD内计算节点规模上千台，采用资源混编的构建方式，在一个POD内采用计算+存储、虚拟化+裸金属、应用+数据库混合部署形态，以就近访问降低时延，提升整体性能。每期工程单POD建设规模大，涉及厂商多，设备类型多，设备初始化要求参数不同，连线多，工期短，对建设要求质量高，整体交付压力大。在进行硬件集成初始化时，单个POD需要持续一周多，多个POD更加耗时。随着IT云的不断建设，每年几十个资源池扩容或新建，上万台服务器的硬件集成要求2周完成，交付要求时间紧张，交付压力大。采用自动化部署技术可提升设备的初始化工作效率，能够有效提高IT云资源池建设的交付速度。

2.2 设备众多造成集成难度大

随着IT系统云化转型步伐加快，云资源池架构也向多层解耦方向演进。造成每期IT云资源池建设硬件集成涉及十多类网络安全设备，服务器厂商四五家。云资源池架构带来大量跨厂商互操作和集成工作[9]。

另外，随着IT云多年的建设，硬件配置差异大，单纯依靠厂商无法实现云集成自动化。厂商自动化工具通常只能兼容自身产品，无法跨厂商互操作，从而无法依靠一个设备厂商实现多厂商的自动化部署。

在资源池建设中设定的技术标准/规范无法实现彻底的多厂商解耦。以相关规范为例，在某些情况下只规定产品具备的功能和接口方式，而诸如虚拟层和分布式存储产品之间大量对接等多厂商对接过程中的具体配置、私有接口对接等仍然需要集成解决。

2.3 传统部署工作效率低、交互体验差

设备建设规模大、厂商多，设备类型多，设备初始化要求参数不同，集成工作难度大，硬集设备初始化工作依靠厂商各自的自动化部署工具，带来巨大部署工作量，需要工程师使用各个厂商提供的自动化部署工具，根据不同厂家、设备型号、不同版本使用不同的工具。版本更新导致频繁的版本适配，工作量巨大，效率低，传统部署手段使现场工程师部署工作烦琐、工作量巨大，效率低，交互体验差[10]。为了提升硬集集成效率，需要一种可对众多的设备进行指令批量下发的自动化部署工具。

3 自动化部署平台应用实践

3.1 技术体系

本文所研究的自动化部署工具的主要技术体系如下：①构建一套一体化数据采集体系，实现对多厂家不同设备不同为维度的数据进行采集；②设计一套图形化的编排引擎，支撑可视化可灵活拖曳的预案流程配置；③通过图形化的编排完成各节点的脚本设置，实现预案配置；④设计执行预案的任务调度机制，实现预案的自动化执行；⑤建立应用场景模型，实现预案的自动化执行。

3.2 应用场景

自动化部署平台主要应用于IT云资源池设备自动化部署。①IT云资源池设备配置参数的初始化，通过该平台实现不同厂家不同设备配置参数的初始化，有效提升硬件集成效率。②IT云资源池网络、安全设备基础配置参数设置：通过该平台实现不同厂家IT云资源池网络、安全设备基础配置参数设置，有效地提升硬件集成效率。

3.3 应用效果

以单个POD节点为例，传统部署方式，完成设备初始化配置，需要2周左右，通过自动化部署工具，能够在3天左右完成配置工作，大大提高建设效率。应用实践证明，在大规模云计算基础设施建设中，通过自动化部署技术，以可视化方式部署向导，能够自动化实现服务器、网络设备初始化配置，从而减少人为操作造成的错误，提升云计算基础设施建设效率。

4 应用前景

4.1 市场预测

中国移动已经对云计算技术进行了长时间的跟踪及研究，通过云计算技术可以降低系统建设和运营成本，提高资源利用效率和信息处理能力，同时，采用云计算技术实现业务和服务创新，有助于提高市场占有率，增强企业核心竞争力。

中国移动通过“建设成本最低、维护成本最低、运营成本最低、企业价值最高”来打造低成本高效运营的电信运营管理体系，通过建设集中化、标准化、信息化的系统，不断提升工作效率和能力，从而实现在全球范围内成为最优秀的、最卓越的公司。通过云计算技术建设内部IT系统资源池是推动集中化、降低建设成本、提高运维效率的一个重要手段。

目前在建的各IT云资源池工程在满足集团、IT中心、专业公司及省公司相关IT资源需求的基础上仍有较大资源缺口。为进一步满足各单位对IT云区域中心资源池的资源使用需求，后续会不断进行IT资源池建设。可将本文研究成果进行落地，在区域IT资源池建设中提升交付效率[11]。

4.2 应用前景分析

自动化部署工具，通过统一的Web入口进行工具选择、参数配置，便于管理；配置参数通过模板实现，避免单台修改，降低错误率；通过图形化编排引擎完成可视化预案流程配置，完成各节点的脚本配置，操作简易，根据使用说明快速上手。根据中移IT云硬件集成规范，针对网络设备，服务器等的配置形成标准配置，适用于所有IT云资源池建设要求，后续可以支撑各地IT云资源池建设，进行推广应用，提升硬件集成的工作效率。针对当前市场主流自动化部署工具，本文所研究的自动化部署工具优势如下。

（1）充分结合中国移动IT云建设过程中对设备初始化的业务特性，贴合实际用户场景需求。

（2）针对云资源池硬件集成的要求，进行硬件集成标准化，形成标准化硬件集成规范。

（3）构建一体化数据采集体系，实现多设备多维度数据采集。

（4）设计图形化编排引擎，支持可视化预案流程配置。

（5）通过图形化预案的任务调度机制，实现预案的自动化执行。

（6）针对各配置或硬件设备的特点，基于开源组件开发部署工具，支持标准化、批量自动化部署，具有可移植，可扩展的特点。

（7）硬件集成工具具有统一的Web管理入口，操作简单，提供图形化的流程引擎、实施人员可以通过拖曳的方式，完成预案流程的配置，具有良好的交互体验。

（8）配置参数通过模板实现，避免单台修改，降低错误率。

（9）针对各配置或硬件设备的特点，开发集成工具，支持标准化批量安装和部署。

本文研究的自动化部署平台具备很强的竞争优势，有望成为该领域的标志性产品。

5 结束语

在中国移动IT云规划期内，IT云将优化资源布局，结合地域情况、数据中心布局及建设进度，进一步推动全网IT云资源池集中共享，最终实现IT云规划“区域节点+省节点”布局，承载全网各单位IT系统，支撑IT系统集中化。为解决当前IT云建设部署过程中存在的问题，并结合当前业务，本文研究开发了一套完善的云资源池设备配置初始化自动化部署系统，具备根据标准配置方案进行批量自动推送安装的功能，具备巡检比对功能，可形成检查日志；通过硬件集成规范和硬件集成工具，减少部署和运维人力投入。

基于自动化部署技术的研究，随着IT云的继续建设扩容，在建设中进行落地推广使用，并继续对工具进行优化，简化操作配置流程，优化图形界面。该工具将有助于进一步扩大中国移动云计算的应用范围、推动中国移动自有IT系统向IT云资源池迁移，对于加快云计算技术在中国移动的应用落地，加快集中化建设步伐，从根本上增强企业的核心竞争力，有着重要的意义。■