可观测建设总结

一 可观测架构

1 可观测数据处理架构设计

• 流水日志
• 日志index以及检索（es）
• 监控指标（组件模调+业务指标）
• 告警指标（参考监控指标，分别划分不同场景的阈值+告警级别+处置方法=sla）

处理架构选型推荐开源

2 系统可观测

白盒：描绘出系统架构，以及系统的数据流链路，在数据链路上关键处打点上报日志+指标

3 用户可观测

黑盒：决定以什么方式告知用户异常（push？console前台监控？）

二 可观测前置条件

1 服务状态感知 （client视角，结构化日志、模调指标）

2 服务状态采集（数据server视角，es，普米）

3 展示平台（grafana，es）

4 告警=事件告警（无状态）+指标告警（有状态）

三 观测维度

1 业务观测

• 流量
• 时延
• 错误
• 饱和度（特定状态）

2 资源监控

• 系统自身
• 第三方依赖、中间件

3 性能监控（业务定义的关注性能）

4 租户状态跟踪（大客户监控面板）

5 全景监控大盘