电信运营商IT系统去IOE思路及实施方法

2014-02-10 01:29
电信工程技术与标准化 2014年9期
关键词:联机开源分布式

(广东省电信规划设计院有限公司,广州 510630)

电信运营商IT系统去IOE思路及实施方法

饶高钢,郝金隆

(广东省电信规划设计院有限公司,广州 510630)

长期以来,电信运营商的核心支撑系统都主要使用小型机、高端磁阵及大型商业数据库。系统横向扩容难、资源综合利用效率低、维护成本高等矛盾日益突出。随着X86服务器处理性能的大幅提升,系统虚拟化技术及基于Hadoop开源软件解决方案的日趋成熟,国内一些大型互联网企业推进去“IOE”战略取得了重要突破。结合在电信运营商“去电信化”相关课题中的研究,提出了电信运营商IT系统去IOE的思路,并给出了如何进行分步实施的具体建议。

IT系统;去IOE;云计算;hadoop;分布式数据库

1 互联网行业去IOE历程

互联网行业以阿里巴巴为例,由于业务规模高速增长,其传统IOE架构的IT系统已经无法支撑,迫使阿里巴巴针对数据处理不断调整系统架构。历时9年历经3个阶段,实现了从集中数据库到分布式多级数据服务架构的演进。新架构采用PC-Server承载MySQL数据库,支撑大并发大数据量的核心业务系统。阿里巴巴通过去IOE,培养了自有核心技术团队,掌握了核心技术,实现了IT架构的高扩展性,有效支撑了业务规模的高速增长。

阿里巴巴的去IOE历程如图1所示。

2 电信运营商系统存在的问题及去IOE进展

目前,电信运营商的IT系统存在的问题主要包括如下几点。

(1)PC服务器整合度较低,大量服务器独立部署,云化程度低,资源整合度较低,不能集约共享。

(2)系统部署效率低、横向扩展困难,传统IOE架构新建、扩容的周期长,系统部署效率低,横向扩展困难。

图1 阿里巴巴交易系统去IOE历程示意图

图2 某省级电信运营商IT系统去IOE技术架构图

(3)设备维保成本高,对IOE厂商依赖较高,维保价格居高不下,IOE设备维保成本高。

在数据量爆发性增长,而IT投资无法大幅增长的情况下,部分省级电信运营商开始探索非IOE架构。例如某省统一规划建设基于开源软件、PC集群的分布式基础平台,严格控制IOE架构规模,选用x86服务器虚拟化技术对外围场景进行云化,逐步实现核心系统数据及服务轻量化。通过技术上采用Hadoop、读写分离、分布式缓存等,资源上进行机器标准分档、统一分配,运维模式上采用互联网模式集群运维、服务化运维,软件上优先开源+自主研发、减少商业软件等一系列举措,完成了统一基础平台建设以及个性化选号、融合采预、计费账单云等业务场景的建设,实现了业务受理单数字化、计费核心轻量化,如图2所示。

3 传统电信运营商与互联网运营商对比分析

互联网企业和电信企业在商业模式、业务特点,系统架构以及IT成本等方面存在较大差异,具体如表1所示。

综上,两者各个方面存在较大差异,因此去IOE的迫切程度不一样,去IOE举措和原则也将有所不同。

4 运营商IT系统去IOE思路

4.1 目标与原则

电信运营商实施IT系统去IOE的主要目标如下。

(1)在确保核心系统稳定运营前提下,积极稳妥推进现有系统基础架构去IOE化,打造灵活高效的系统架构,有效保护投资,实现降本增效。

(2)通过对新技术的不断探索和实践,打造一支顺应移动互联网发展的核心支撑队伍。

表1 互联网企业与传统电信运营商对标

电信运营商实施IT系统去IOE的主要原则应该如下。

(1)统一规划:统一规划整个IT系统的架构优化及未来几年的演进路线,由浅入深的推进架构优化工作。

(2)急用现行:近期工作要以现有IT系统的问题和需求为切入点开展。

(3)稳步推进:分析类应用云化技术成熟,可以尽快形成规模;联机事务类应用云化技术还不成熟,建议以试点为主。

(4)严控新增:对新建IT系统平台,原则上使用非IOE的新技术架构。

4.2 技术分析与建议

整个IT系统数据库演进路线如图3所示。

图3 全IOE架构去IOE过程示意图

适合云化的应用:Web、应用服务器、请求处理型、重复性任务、 海量数据统计、查询、分析类应用。

不适合云化的应用:核心系统数据库、复杂计算处理任务、其它要求Unix环境的应用。

4.3 基础平台框架

一个完整的IT系统按照系统架构可分为Web层、应用层和数据层3个层次,按照业务类型可以分为联机分析类应用和联机事务类应用,结合云计算和分布式计算技术的特点,推进IT系统架构优化转型必须做好3类核心平台的综合规划,分别承载架构转型后的系统应用层、分析及查询应用及联机事务处理类应用,并由浅入深推进现有应用迁移。

如图4所示,IT系统去IOE基础平台架构包括3个部分。一是云资源池,主要用于承载架构优化之后应用服务器、Web服务器等;二是分布式数据库,主要是用于承载架构优化后的联机事务处理应用的数据存储;三是分布式基础平台,主要用于联机分析查询处理应用的数据存储和计算。

图4 IT系统去IOE基础平台架构图

5 实施建议

5.1 平台建设总体方案

5.1.1 云资源池

云资源池平台系统架构图如图5所示。

5.1.2 Hadoop云平台

Hadoop平台的软件架构全部采用基于Hadoop的开源软件(包括SUN-JDK,SSH,Hadoop)。

图5 IT云资源池平台架构图

图6 Hadoop云平台系统架构图

5.1.3 分布式数据库

由于开源软件只支持开源数据库,开发维护难度过大,并且数据库与相应IT系统是强相关的,涉及到数据的分库分表,因此建议先采用厂家现有的软件作为整个分布式数据库的基础软件。对于分布式数据库平台对应具体的数据库,可以根据应用软件的特点选择商用或者开源的数据库进行建设。

分布式数据库系统架构图如图7所示。

图7 分布式数据库系统架构图

5.2 分期优化思路

5.2.1 初期方案

(1)推进IT系统Web及应用服务器云化,除计费应用服务器外,其它系统全部迁移。

(2)以现有系统主要需求和问题为切入点,逐步剥离外围应用,实现核心系统减负。

(3)对于联机事务类应用,由于目前技术成熟度不够,暂不宜规模化推进核心系统改造,建议以试点为主。

(4)对于联机分析事务类应用,目前技术已比较成熟,新建系统原则上采用新架构;对于原有系统,选取几个重点应用场景进行架构改造。

5.2.2 中期方案

(1)在云资源池试点使用KVM,XEN等开源虚拟化软件,减少Vmware等商业软件的使用。

(2)对于联机事务处理类应用,在初期试点的基础上规模推进,推进CRM域外围系统数据库开源化或分布式化。

(3)对于联机分析类应用,在初期实施的基础上,将ODS及相关应用迁移到Hadoop云平台。

5.2.3 远期方案

在前两期工作的基础上,完成适宜系统的迁移。IT系统架构优化工作主要围绕以下几个方面开展。

(1)将目前独立部署的PC服务器全面迁移到云资源池。

(2)对于联机事务类应用,适宜云化的商业数据库全部实现开源化或分布式化。

[1] 苏燕强. Oracle分布式数据库及其应用研究[J]. 计算机应用与软件,2004,21(8):36-38.

[2] 杨征,王利. X86系统虚拟化技术研究综述[J]. 泸州职业技术学院学报,2012,2:68-73.

[3] 白翠琴,王建. 存储虚拟化技术的研究与比较[J]. 计算机与信息技术,2008,7:56-58.

[4] 吴松,金海. 存储虚拟化研究[J]. 小型微型计算机系统,2003,24(4):728-732.

[5] 董耀祖, 周正伟. 基于X86架构的系统虚拟机技术与应用[J].计算机工程,2006,32(13):71-73.

[6] 刘建,赵贤敬. 基于云计算的小型机模型研究[J]. 电脑知识与技术,2010,6(13):3360-3362.

Ideas and implementation method of de-IOE in telecom operators’ IT systems

RAO Gao-gang, HAO Jin-long
(Guangdong Planning and Designing Institute of Telecommunications Co., Ltd., Guangzhou 510630, China)

During the past two decades, the IT infrastructure of the telecom operator has always been built using the IOE. Equipment which are expensive, low-usage and hard to smoothly scale-out. With the large performance enhancement of x86 processor, mature virtualization technology and hadoop-based solution, some domestic internet enterprise make much breakthrough in “de-IOE” .Based on the experience in detelecom project of telecom operator, summarize a systematic method focusing on how to realize de-IOE.

IT system; de-IOE; cloud computer; hadoop; distributed database

TP30

B

1008-5599(2014)09-0050-04

2014-08-16

猜你喜欢
联机开源分布式
五毛钱能买多少头牛
2019开源杰出贡献奖
分布式光伏热钱汹涌
分布式光伏:爆发还是徘徊
高温多联机空调系统的控制方式研究
大家说:开源、人工智能及创新
开源中国开源世界高峰论坛圆桌会议纵论开源与互联网+创新2.0
CALIS联机合作编目中的授权影印书规范著录
基于DDS的分布式三维协同仿真研究
NAP客户联机VPN测试