四川电信，走在IT创新最前沿

焦旭

谈及通信行业类的国有巨头时，人们往往第一印象都是一个“稳”字，甚至说其“保守”都不为过。

2018年，三大运营商都在围绕如何实现高质量通信发展而布局。所谓高质量通信，就是要做到网络设施更智能、业务生态更丰富、资源配置更科学、运营管理更高效、用户质态更好、收入质量更高、客户体验更优。这一切都离不开IT系统和硬件的升级改造。

记者有幸走访了中国电信四川分公司（以下简称：四川电信），探寻其是如何对传统IT系统进行升级改造，又是如何实现高质量通信发展。

面对挑战，创新势在必行

高速增长的业务对中国电信的各项支撑系统，特别是位于核心的计费系统，提出了严峻考验，在人口密集、业务繁忙的四川省尤为明显。

而随着电信业务日趋多元，以及信息通信技术加速融合，四川电信为能够实时响应市场需求，持续推出“抖音无线流量卡”、“9元随心卡”等创新产品和业务，在为用户带来更多优惠和丰富多样的消费选择时，这些新业务往往具有跨网络、多产品捆绑以及组合营销的特点，并涉及了大量账务优惠产生的流量赠送、话费分摊、定向减免等数据。这些数据对实时性和准确性有着非常严苛的要求，给四川电信的基础运营设施，尤其是计费系统带来了巨大挑战。

四川电信企业信息化部基础平台技术经理李华向记者介绍时表示：“我们现有的IT系统主要集中在计费和CRM上。近年来，IT数据快速膨胀，计费是占比最大的。在极端情况下，有时需要一天处理7千万用户、千亿级别的话单。其次， 随着电信从2G到3G到4G，未来实现5G，每次跨代处理数据量都有5～10倍的增加。2019年，我们还要做到计费在每月1号出账，这对计费要求的时延变低了，而数据量变高了，怎么解决这个问题是目前最大的挑战。可以说，I/O情况是最大的瓶颈，亟待解决。”

四年历程，效果立竿见影

发现问题，就立刻解决。记者了解到，从2014年开始四川电信就着手对传统IT系统进行升级改造，并“大胆”尝试新技术新硬件。

早在2014年，四川电信就同英特尔展开技术合作，开始引入分布式存储和SSD改造原有硬件架构。直到目前，虽然业务数据量年年快速增长，但四川电信的IT系统已连续4年未采购集中存储。这在以前是难以想象的，数据显示，在2014年以前四川电信IT系统每年集中存储的采购量在500TB到1PB之间。

从2016年开始，四川电信对核心数据库进行分布式存储改造，用以解决集中式存储始终存在的一些瓶颈，释放现代SSD存储的优异性能。2017年完成了整个CRM核心数据库的分布式存储改造。到2018年上半年，实现计费账务核心数据库的分布式存储改造，并再次引入英特尔傲腾产品和技术，用来弥补传统NAND SSD存在的一些短板，从而避免极端情况下的系统故障。目前，四川电信在PAAS平台上已经大规模使用了NAND SSD+傲腾的产品组合。

四川电信资深技术专家胡杰指出：“拥有7000万用户，每个月各种话单处理量在900到1000亿之间，数据的快速膨胀和业务时效要求越来越高。从目前运行的情况来看，I/O是我们遇到的最大瓶颈，也是我们要引入NAND SSD+傲腾的原因。”

胡杰坦言：” 传统运营商是比较保守的，他们对SSD的部分性能抱有一些疑议，对可靠性也比较担忧，还是倾向于使用传统阵列。相对而言，我们在这方面走得比较激进一些，我个人来说比较倾向用最简单、最有效的技术，来解决我们目前面临的I/O性能瓶颈。从实际应用来看，在极端性情况和高要求的场景下使用NAND SSD+傲腾是非常适合的。“

回顧几年来对IT系统的升级改造，胡杰感触良多。“作为四川电信的IT部门，我们叫做企业信息化部。IT系统的升级改造过程中，很多小系统在用滚动的方式推动升级改造。而针对比较核心的系统、有I/O压力的系统，我们都大胆地使用分布式存储和SSD的方式改造。下一步，因为有些系统随着技术和市场进步会自动消亡，如果使用新系统的话，我们就会采用新技术，尽量去掉Oracle DB，采用分布式架构数据库，像PG或者是MySQL集群这种方式来尽量避免不再使用集中存储。对于SSD我们会继续大规模使用，因为现在看I/O的吞吐需求每年都在以几何级数增长。不管是传统系统还是大数据系统都增长很快。”胡杰表示。

一定要以实际数据说话

在被问及为什么多年来一直坚持与英特尔合作，并始终选择最新的产品和技术时，胡杰说：”我们就是以具体生产系统的实际数据来说话，经过大量的在线测试，选择性能更好、稳定性更高、投入产出比更优的技术和硬件。“

从四川电信目前的计费数据库来看，每天都要进行海量的写入，最极端的情况下，一块SSD一天会被擦写十遍。胡杰表示：” 如果还使用传统NAND SSD，可能一年左右就会被报销（DWPD数据比较好的情况是3左右），但是用傲腾（DWPD可以达到60）以后，在整个生命周期当中不用再担心这个寿命问题。其次，我觉得傲腾最大的优点，就是高I/O情况下，长期进行大数据量的写入，依然能保持极其稳定的时延。“

如图所示，胡杰向记者展示了当天截取的数据分析，因为大量的写入，在普通NAND SSD上可以看到，一段时间内NAND回收机制被触发时读写时延会显著变长，有些情况下，甚至出现了秒级时延，系统进程处于等待I/O完成的状态。而在使用傲腾时，表示延迟的红线非常平缓，其余NAND SSD则出现了巨大峰值（普通SSD时延）。而且在采集时延对比数据时，傲腾上面承载的IOPS比传统SSD高很多。对于企业级用户来说，傲腾的这些优势十分重要。

胡杰还指出，目前绝大部分运营商的数据库还是基于传统的集中式存储架构。根据参考OracleDB一体机架构，使用RDMA+NVMe SSD，在没有完成整个系统的分布式架构改造之前，已可以解决数据库极高I/O的问题，是目前比较理想的架构。

此外，记者还了解到，四川电信正在对NVMe over Fabrics进行性能评测，从测试数据看，性能将有40%到60%的提升。胡杰表示，随着NVMe over Fabrics的不断成熟，这样不但在存储侧采用傲腾等新技术来提升存储处理能力，还在网络侧优化存储传输的效率，未来将大规模使用这种技术，并与英特尔一起对其潜力进一步深挖。