超融合在大型现代制造业的应用研究

汤亚宇

摘要：超融合解决了计算、存储、网络的融合问题，将虚拟化计算、网络、存储整合到同一个系统平台。超融合架构极大地提升了计算能力、提高了网络吞吐能力、减小了网络延时，依靠底层分布式存储及其多副本和数据热冷分层能力，大幅提升存储性能和数据容灾能力，解决了计算、存储容量、存储性能、网络资源的按需扩展的问题，为现代制造业企业提供了高性能、高可靠和可扩展的企业私有云基础架构，成为大型现代制造业企业的ERP、MES、大数据、HPC和3D桌面虚拟化等应用的理想承载平台。

关键词：超融合；软件定义存储；云数据中心；企业私有云

中图分类号：TP39 文献标识码：A 文章编号：1009-3044（2018）20-0230-03

Application Study of Hyper-convergence in Large-scale Modern Manufacturing

TANG Ya-yu

（CRRC Zhuzhou Electric Co.， Ltd.， Zhuzhou 412001， China）

Abstract： Hyper-convergence solves the problem of integration of computing， storage and networking， and integrates virtualized computing， networking and storage into the same system platform. Hyper-converged architecture greatly enhances computing capacity， improves network throughput， and reduces network latency. It also relies on the underlying distributed storage and its multiple copies and data hot and cold tiering capabilities to significantly improve storage performance and data disaster recovery. It solves the problem of calculation， storage capacity， storage performance and on-demand expansion of network resources， and provides modern manufacturing companies with high-performance， highly reliable， and scalable enterprise private cloud infrastructure. It becomes An ideal carrier platform for applications of a large-scale modern manufacturing enterprise， such as ERP， MES， Big Data， HPC and 3D desktop virtualization.

Key words： Hyper-convergence；Software-defined storage； Cloud data center；Enterprise private cloud

1 引言

超融合架构是为下一代云数据中心设计的横向扩展的软件定义架构，以软件定义一切（包括计算、存储、网络、安全和管理）[1]。计算、存储和网络资源高度融合；服务器端闪存和数据热冷分层为核心。超融合数据中心基础架构构建在通用硬件上，不需要单独的存储设备（如NAS、SAN等），在超融合群集中每个节点不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术，而且包括管理监控、备份恢复、数据快照技术、数据除重、数据压缩等功能，多个节点可以通过网络聚合起来，实现模块化的无缝横向扩展（Scale—out），从而形成统一的资源池[2]。随着硬件数增加，计算能力、网络能力、存储能力（包含容量和IOPS）能够接近于线性的提升，这些需求在计算设备和存储设备分离的传统SAN架构无法满足，同时基于传统架构封装的整合一体机架也不能满足。而使用通用x86服务器硬件，并且所有节点既是计算节点也是存储节点才能适应云计算中心按需快速大规模扩展、高密度且廉价的每计算和存储节点、优异的计算和存储性能、分布式计算和存储的多副本和高可用性的要求[3]。超融合架构可以充分满足大型现代制造业各种大型、关键业务应用的苛刻要求，帮助其优化IT系统性能、提升效率、节约建设和管理成本。

本文主要研究超融合架构及应用问题分析，为现代制造业IT迁移到超融合架构的分析和应用提供理论与实践依据。

2 超融合架構

传统的SAN存储架构中，每台服务器上运行的大量虚拟机均在集中的存储设备上读、写大量的数据，虚拟机运行的应用的性能瓶颈在于集中的存储设备的磁盘IO过慢，系统的大部分时间在等待数据在存储上完成读写，存储不能满足大量数据交互的需求，从而导致CPU的大部分计算能力都无法有效利用[4]。相比服务器上虚拟机的可快速扩张的CPU计算能力，传统存储的容量和性能存在严重的不协调和不适应，成为整个数据中心基础架构的瓶颈，严重影响到大型、关键业务应用的使用和推广[5]。

超融合架构通过抛弃传统存储架构，使用计算、网络和存储融合的方式，利用分布式存储池提供几乎无上限的性能和容量，配合使用闪存加速、热冷数据分层算法、基于RoCE的10G/40G网络、存储QoS策略、数据副本与校验混合卷、数据压缩和去重、存储同步/异步复制等核心技术，实现性能的横向可扩展和运维的可扩展。其中性能的可扩展是增加节点数量和磁盘时，整个吞吐、容量和lOPS能得到了横向线性提升[6]。运维的可扩展是当节点和磁盘故障成为某段时间的系统常态时，减少故障对整个集群的性能影响，实现组件故障后自愈，从而减少运维量，达到运维的可扩展，如图1所示。

3 超融合的应用问题分析

3.1高可用性与存储效率问题

超融合的数据容错方式包括双向镜像、三向镜像、单奇偶校验和双奇偶校验。

在镜像方式中，双向镜像就是所有数据存在两个副本，存储效率为 50%，每次容忍一个节点故障。

三向镜像就是所有数据存在三个副本，存储效率为 33.3%，每次容忍两个节点故障。由于镜像模式在数据读写时均不需要计算校验，因此性能好。

在奇偶校验方式中，单奇偶校验仅保留一个按位奇偶校验符号，一次仅对一个节点失败提供容错，存储效率为50.0% - 85.0%。

双奇偶校验实现 Reed-Solomon 错误更正代码，保留两个按位奇偶校验符号，一次仅对两个节点失败提供容错，存储效率为50.0% - 80.0%；由于奇偶校验方式在写数据时和故障状态下读数据时均需要计算，因此性能不及镜像方式。

显然在生产环境中为了规避1个节点计划停机期间，另1个节点突发故障的场景，同时容忍2个节点同时发生故障是必然的选择，如图2所示，在以下六种情况可以支持容错高可用，不会导致数据离线或丢失：

①丢失了一个驱动器（包括缓存驱动器）

②丢失了一个节点

③丢失了一个节点和一个驱动器

④不同节点丢失了两个驱动器

⑤丢失了超过两个驱动器，前提是最多两个节点受影响

⑥丢失了两个节点

因为容忍2个节点同时发生故障生产环境下高可用性的必然选择，但是由于三向镜像的存储效率只有33.3%，而双奇偶校验的读写速度较慢，显然都不是理想的选择。

超融合的数据存储卷也可以采用混合方式，一部分是三向镜像，另一部分是双奇偶校验。写入首先在镜像部分中进行，稍后逐渐移到奇偶校验部分，因此该方式在使用SSD作为缓存的基础上，再进行了热冷数据分层，热数据存储于镜像部分（速度更快），冷数据存储于奇偶校验部分，实现了较高的存储性能，由于混合模式的存储效率为33%- 80%，更好的平衡了性能和存储效率的矛盾，同时提供容忍2个节点同时发生故障。

3.2 网络性可靠与延迟问题

IP数据网络目前在数据中心主要使用以太网，普通的以太网并不是Lossless Ethernet，它不包含任何重传（重传由上层的TCP协议控制）和流控制技术、保证传输等功能，并不适合作为存储网络。通过Data Center Bridging（DCB）、Congestion Notification（IEEE802.1Qau）、Priority Flow Control（IEEE 802.1Qbb）和Enhanced Transmission Selection（IEEE 802.1Qaz）等技术对以太网络增强（Enhanced Ethernet）。

超融合架构中应该使用支持RoCE（RDMA over Converged Ethernet）的10G/40G网络和Enhanced Ethernet的数据中心交换机构建超融合网络，实现流控和纠错。同时RDMA可使各个节点直接在应用程序内存之间移动数据，而无须CPU 的参与，是一种可以极低延迟在无损以太网网络上提供高效数据传输的机制，和普通TCP/IP网络比较性能提高30%-60%，有效降低分布式存储各个节点的数据交换延迟，如图3所示。

3.3 超融合的磁盘驱动器的选择

超融合架构通过内置服务器端的、大型、持久且实时的读取和写入缓存，最大限度地提高存储性能。磁盘驱动器的部署方式包括“全闪存”和“混合”两个类别。

全闪存部署：全闪存部署旨在最大限度地提高存储性能；该方式实现可预测和统一子毫秒延迟跨随机读取和写入的任何数据，可实现非常高 IOPS 或 IO 吞吐量，如图4所示。

在超融合构建中应该根据企业应用的实际情况在一个超融合群集中构建多个存储池，将企业大型应用和高IO需求型应用部署在全闪存磁盘存储池上，将一般应用和容量性应用部署与混合磁盘存储池上，有效的平衡成本、性能和容量约束。

4 现代制造业IT迁移到超融合架构的分析和应用

现在大型现代制造业越来越依赖于信息技术提高企业的综合竞争力，工业4.0和互联网+为大型现代制造业升级和跨越式发展的方向。企业的ERP、MES、HPC、3D虚拟桌面设计、大数据等各类应用平台需要依据工业4.0和互联网+的要求建设和升级，亟须建设使用通用硬件、能够按需快速大规模扩展、计算和存储节点高密度且廉价、计算和存储性能优异、计算、存储和网络资源高可用性的私有云平台，超融合架构充分满足了大型现代制造业的数据中心的需求。在向超融合架构迁移的过程中需要依据企业实际情况进行合理规划和分析评估，确保适合的IT应用系统迁移到超融合架构。

第一，传统的IT应用系统向超融合架构迁移。传统IT应用大多采用物理服务器连接独立存储阵列，应该首先将其虚拟化，使用P2V技术或重新迁移部署的方式将应用系统迁移到超融合架构中。将原有的服务器、磁盘和存储设备利旧，使用虚拟化技术根据硬件的实际情况改造超融合虚拟化平台或基于SAN的虚拟化平台，作为企业的一般应用部署环境或开发测试环境。

第二，对于现有已虚拟化的IT应用系统迁移。该方式已有计算资源池、存储资源池及网络资源池，但各资源相对独立，当系统规模扩大时，存储容量和性能的水平扩展成为主要性能瓶颈，可以利用与原私有云系统兼容的超融合技术，将现有架构向软件定义存储架构升级。

第三，对于企业新建的大数据、物联网、智慧园区、MES等存在大量数据存储及交换的系统，应该优先使用超融合架构.可实现数据的快速存储、读取，能有效提升用户对IT应用的使用体验。

最后，由于超融合架构一般搭配虚拟化技术使用，因此不适合虚拟化技术的IT应用系统，也不应该部署于超融合架构，例如小型机的应用和使用非通用硬件的应用系统。

大型现代制造业信息系统经过长期的发展，信息系统规模大、关联依赖复杂，数据量增长迅速，數据交互量日益增大，如果采用超融合架构来建设，可现实业务快速部署、弹性和灵活扩展、统一管理计算、网络和存储，能有效降低企业TCO，快速提升用户体验。

参考文献：

[1] 林伟伟，刘波.分布式计算、云计算与大数据[M].北京：机械工业出版社，2015.

[2] THOMAS N D， GRAY K. SDN：Software Defined Networks[M].北京：人民邮电出版社，2014.

[3] 李晨，段晓东，陈炜，等.SDN和NFV的思考与实践[J].电信科学，2014（8）：23—27.

[4] Microsoft.Storage Spaces Direct in Windows Server 2016.https：//docs.microsoft.com/en-us/windows-server/storage/storage-spaces/storage-spaces-direct-overview

[5] Vmware. 软件定义的数据中心.https：//www.vmware.com/cn/solutions/software-defined-datacenter/in-depth.html#storage

[6]包宇，范文一，操明立. 超融合云数据中心架构解析[J].邮电设计技术，2017（6）：83-85.