分级告警策略,人性化系统监控?

要介绍统一监控平台,得先从告警策略聊起,后续再聊不同维度监控的架构与实现细节。

一、啥是告警?

监控平台发现系统异常,向系统负责人发出文字(例如,邮件/短信),色彩(有些公司,编译不过,CI平台会亮红灯),声音(有些公司,有蜂鸣器嗡嗡响,研发压力大呀)等警示,就是告警。

绝大部分公司,主要是通过文字发出系统异常告警信息。

文字告警有哪些常见的方法?

以58到家为例,目前提供了四种文字告警的方式,其成本,到达率,实时性都不一样:

  • 短信:成本高,实时性好,到达率高
  • 邮件:成本低,实时性差,到达率高
  • 钉钉/微信:成本低,实时性中,到达率中

画外音:当然,得现有短信、邮件、钉钉、微信等消息网关的基础服务。

二、啥是告警策略?

绝大部分公司,可能都没有考虑系统监控告警策略,一旦发生异常,就发邮件/短信通知系统负责人,这样可能导致这样一些问题:

  • 同一个集群的不同实例出问题,可能会造成重复告警,浪费带宽资源,升高短信成本
  • 系统负责人短时间内手机被告警短信刷屏,导致产生麻木感
  • 系统负责人短时间内手机,邮箱,钉钉,微信同时对一个故障告警,导致产生巨大压力
  • 员工不重视告警,无法判断告警的优先级,leader又不知情,导致事故影响扩大

画外音:你猜,BAT一年的短信告警费用是多少?

为了解决上述问题,针对不同的服务,在不同的时间段,不同的员工层级,应该设定不同的告警策略,有哪些常见的告警策略呢?

  • 模块告警收敛策略:当一个模块/服务异常时,与其对应的所有接口监控,与其对应集群的多有实例,都会告警,此时,应该收敛为一个模块/服务告警,常见的实现方式是,模块/服务按照集群名称做告警去重
  • 接口告警收敛策略:当一个模块/服务的一个接口异常,与其对应集群的多个实例,都会告警,此时,应该收敛为一个接口告警,常见的实现方式是,按照接口名称做告警去重
  • 告警频率收敛策略:对同一个服务或者接口,应该在固定的时间内,只发送有限的告警,常见的方式是,按照1分钟1次限制告警次数,一来降低研发的紧张感与压力感,二来节省成本
  • 不同时段区分告警方式策略:工作日工作时段在公司时,通过邮件/钉钉/微信发送告警能更加节省成本;半夜或者周末发生故障时,通过邮件发送告警能保证实时性
  • 逐层上报告警策略:每个模块都应该有负责人,原则上告警会发送给模块的负责人,但如果告警连续1小时未恢复正常,告警会自动发送给系统负责人的直属leader,如果告警连续3个小时未恢复正常,告警会自动发送给系统负责人的二级leader
  • 黑白跳动策略:当系统由正常变为异常,异常恢复正常,出现正反的变化时,都应该发出告警

画外音:额,这么人性化,是“别人家”的公司么?

三、监控平台,告警策略依赖的基础模块

要实现统一监控平台,要实现告警策略化,需要依赖两个非常重要的基础模块:

  • 集群信息管理
  • 员工信息管理

什么是集群信息管理?

额,这个架构设计中最容易忽略的部分,《监控平台基础服务,集群信息统一管理》一文已经有过描述,文本不再展开。

以下是通过全局配置文件,实现集群信息集中管理,一个global.config举例:

[user.service]

ip.list : ip1, ip2, ip3

port : 8080

bin.path : /user.service/bin/

log.path : /user.service/log/

conf.path : /user.service/conf/

ftp.path:ftp://192.168.0.1/USER_2_0_1_3/user.exe

owner.list : shenjian, zhangsan, lisi

从这里,监控中心能够知道被监控的是 [user.service] 集群,有三个实例部署在 ip1/ip2/ip3 上,如果发生异常,要将告警发送给 shenjian, zhangsan, lisi 三个模块直接负责人

什么是员工信息?

额,顾名思义,是员工基础信息的管理(额,这算什么解释)。和集群信息管理一样,员工信息的管理一定要集中化,不能分散在各处(分散的坏处是耦合,在《监控平台基础服务,集群信息统一管理》一文里谈得很多了)。

员工信息管理的实现方式主要有两种:

  • 员工信息管理服务
  • 全局员工信息配置

如何通过员工信息管理服务集中管理员工信息?

如上图,建立员工信息管理服务,绝大部分公司应该都是这么统一管理员工信息的,这个服务和HR系统结合应该是非常紧密的,即使是外采的HR系统,肯定有相关的模块管理员工信息,相关的数据库存储员工信息。

如何通过全局配置文件集中管理员工信息?

如果不考虑和HR系统的打通,而只考虑监控系统,分级告警的需求,完全可以通过配置文件来管理系统负责人信息,例如global.owner.config:

[shenjian]

department : tech

leader : sandy

email : XX@OO.com

phone :15912345678

dingding : 15912345678@dingding.com

wechat : XXOO

四、总结

要开发统一监控平台,至少有两个基础模块:

  • 集群信息统一管理
  • 员工信息统一管理

统一监控平台,不能一异常就告警,太不人性化,要实现统一的分级告警策略

  • 模块告警收敛策略:按照集群名称做去重
  • 接口告警收敛策略:按照接口名称做去重
  • 告警频率收敛策略:按照M分钟N次限制告警
  • 不同时段区分告警方式策略:工作日/非工作日,白天/夜晚区分
  • 逐层上报告警策略:先模块负责人告警,n分钟未恢复升级,m分钟未恢复再升级
  • 黑白跳动策略:当系统由正常变为异常,异常恢复正常都通报

员工信息管理,需要注意:

  • 避免分散管理,导致耦合
  • 应当集中管理,有两种常见的实现方式,统一服务/统一全局配置

五、调研

调研一、对于监控平台,你的感受是:

  • ca1,无监控平台,都是用户反馈系统挂了
  • 有机器层面的监控,有nginx层面404监控
  • 有异常日志监控,有服务接口监控
  • 头疼,有各种奇形怪状的警示灯,蜂鸣器告警,压力异常之大

调研二、对于人性化告警,你的感受是:

  • ca2,没有监控,谈不上告警
  • ca3,没有考虑人性化,每次手机短信响起,就紧张,每次批量收到告警,压力就很大
  • 有区分工作日/周末,白天/黑夜的告警策略区分
  • 有收敛,去重,逐层上报的告警策略区分

原文发布于微信公众号 - 架构师之路(road5858)

原文发表时间:2018-01-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Bug生活2048

告别单调工作系列——利用python「拯救」漂亮妹子

在进入正题前想聊下这位漂亮妹子「不要想多了,只是聊聊漂亮妹子的工作」,这位妹子虽然苦恼,但她做这样的事情已经一年多了,可谓毅力可嘉,有时候我就会觉得很奇怪,为什...

932
来自专栏SEO

Google新动作:处理重复内容

32410
来自专栏Java学习网

程序员既要写好代码,又要写好文档

程序员既要写好代码,又要写好文档 作为一个长期混迹于CSDN社区的人,我对很多拥有高访问量的博主钦佩不已,特别是在参加了CSDN在举办“2014 CSDN博文大...

3527
来自专栏北京马哥教育

关于泰捷商城项目与如何做一个高可用的网站

hi 各位, 上两周一直都在做泰捷商城这个项目。这个项目的目的就是卖泰捷出品的WEBOX。这是我第一次做有关电子商务的网站。各种头绪。其实原始需求很简单,只卖一...

37812
来自专栏美团技术团队

分布式队列编程:模型与实战

介绍 作为一种基础的抽象数据结构,队列被广泛应用在各类编程中。大数据时代对跨进程、跨机器的通讯提出了更高的要求,和以往相比,分布式队列编程的运用几乎已无处不在。...

3968
来自专栏北京马哥教育

专为设计师而写的GitHub快速入门教程

在互联网行业工作的想必都多多少少听说过GitHub的大名,除了是最大的开源项目托管平台,许多企业也都是用GitHub来协同开发工作,当然我们彩程也是其中之一。笔...

3796
来自专栏乐沙弥的世界

DBA 的那些事

      说起DBA,全称是Database Administrator,不是Doctor of Business Administration,千万不要误解...

1210
来自专栏数据和云

对话张冬洪 | 全面解读NoSQL数据库Redis的核心技术与应用实践

互联网和Web的蓬勃发展正在改变着我们的世界,随着互联网的不断发展和壮大,企业数据规模越来越大,并发量越来越高,关系数据库无法应对新的负载压力,随着Hadoop...

3565
来自专栏PPV课数据科学社区

【数据业务】几招教你如何在R中获取数据进行分析

【IT168 编译】本文是《R编程语言》中一个系列的第二部分。在第一部分中,我们探索如何使用R语言进行数据可视化。第二部分将探讨如何在R语言中获取数据并进行分析...

3355
来自专栏EAWorld

告别微服务:究竟是千军易得还是一将难求

原题:Goodbye Microservices: From Hundreds of Problem Children to One Superstar

1654

扫码关注云+社区