分布式系统的可观测性建设

陈根

关键词：分布式系统；可观测性；可视化；链路追踪

1概述

随着社会生产力的进步，社会分工细化，新的职业出现，新的商业模式诞生，为满足人们的生产生活需求，信息系统的建设方式和架构也在与时俱进，信息系统处理越来越多的数据，处理速度也越来越快，同时要满足频繁多变的业务需求，分布式系统逐步浮出水面。本文不讨论分布式系统建设方案，重点就分布式系统的可观测建设展开论述。

2可观测基础能力建设

分布式系统不同于传统的单体系统或者MIS系统，由于其业务量庞大、系统架构复杂、组件关联密切，为运维带来极大挑战。当出现异常时，告警能力、故障根源分析判断能力、故障快速处置能力就显得非常重要，其中基础能力从监控数据的采集、汇聚、异常监测和告警等阶段进行阐述。

2.1采集能力

分布式系统的模型建设是先决条件，从分布式系统的特点来讲，往往采用容器化部署，使用Kubernetes作为容器编排工具，可以按照Deployment-Pod-container的结构来设计。模型建设后，通过各类数据采集器获取模型实例的运行状态和配置数据，此时需按照统一的规范来完成。数据采集分为3种类型，分别是指标数据采集、日志数据采集、其他类数据采集。

2.1.1指标数据采集

对于操作系统以及运行在操作系统上的数据库、中间件等基础软件，通常采集其CPU、内存、文件系统、磁盘10、网络吞吐量等使用情况数据。操作系统、数据库等IT基础设施的指标建议通过操作系统文件如/proc/stat等采集，避免使用操作系统命令，以减少对源系统的资源消耗。……