思考：prometheus 告警为什么选用alertmanager？
为什么要用 alertManager
alertmanager 主要用于接收 Prometheus 发送的告警信息，它支持多种告警通知渠道，而且很容易做到告警信息进行去重，降噪，分组等，超级好用。
其实 Grafana 也自带了告警功能，本来想直接用 Grafana 的告警功能，这样就不用多部署一个组件了，试用了一下 Grafana 的告警，不是很好用，然后就放弃了。
看上图，最难受的就是 Template variables are not supported in alert queries 这段话了，不能用于变量类型的模板。下面来解释下这个问题：
指标查询语句如下：
sum(rate(http_server_requests_seconds_count{application="$application", instance="$instance"}[1m]))其实是根据 application 和 instance 来查询的，也就是在查询的时候可以选择哪个应用，哪个实例进行数据的查看。
但是你如果要用 Grafana 的告警，就不能这么写，那要怎么写呢？把变量去掉。
假如我的 A 服务有 5 个实例，那么你就得配置 5 个查询语句，如下:
sum(rate(http_server_requests_seconds_count{application="a-service", instance="10.11.11.12"}[1m]))
sum(rate(http_server_requests_seconds_count{application="a-service", instance="10.11.11.13"}[1m]))
sum(rate(http_server_requests_seconds_count{application="a-service", instance="10.11.11.14"}[1m]))
sum(rate(http_server_requests_seconds_count{application="a-service", instance="10.11.11.15"}[1m]))
sum(rate(http_server_requests_seconds_count{application="a-service", instance="10.11.11.16"}[1m]))到了这一步我就直接放弃了，太难用了，不知道有没有其他的方式能够解决这个问题，反正我是投向了 alertmanager。
部署 alertManager
部署 alertmanager 之前我们首先部署一个钉钉消息的转发服务，也就是当有告警的时候，alertmanager 会调用这个转发服务将告警内容发送至钉钉。
docker run -d -p 8060:8060 --name webhook timonwong/prometheus-webhook-dingtalk --ding.profile="webhook1=
https://oapi.dingtalk.com/robot/send?access_token=你的token"钉钉机器人需要自定义关键词来匹配告警信息，否则接收不到消息。
直接用 Docker 来部署 alertmanager，命令如下：
docker run -d --name alertmanager -p 9093:9093 -v /opt/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml prom/alertmanager:latestalertmanager.yml
global:
resolve_timeout: 5m
route:
receiver: webhook
group_wait: 30s
group_interval: 5m
repeat_interval: 5m
group_by: [alertname]
routes:
- receiver: webhook
group_wait: 10s
receivers:
- name: webhook
webhook_configs:
- url: http://10.100.0.168:8060/dingtalk/webhook1/send
send_resolved: truewebhook 的通知地址我们配置成上面我们部署的钉钉转发服务的 IP+Port 就可以了。
修改 prometheus 的配置文件，增加 alertmanager 的配置。
prometheus.yml
# Alertmanager configuration
alerting:
alertmanagers:
- static_configs:
- targets: ["10.100.0.168:9093"]
rule_files:
- "/etc/prometheus/rules.yml"配置告警规则
rules.yml
groups:
- name: qps
rules:
- alert: QPS告警
expr: (sum by(instance,application)(rate(http_server_requests_seconds_count[1m]))) > 100
for: 1m
labels:
severity: warning
annotations:
description: "应用:{{ $labels.application }} 实例:{{ $labels.instance }} QPS超过100 (当前值: {{ $value }})"
summary: ""
- alert: 应用下线告警
expr: up == 0
for: 0m
labels:
severity: warning
annotations:
description: "应用:{{ $labels.job }} 实例:{{ $labels.instance }} 已下线"
summary: "" 上面配置了 QPS 告警和应用下线的告警，关于告警规则不做详细讲解，大家可以自己去学习下，当然也有一些可以参考的规则配置，具体可以查看这个网站：https://awesome-prometheus-alerts.grep.to/rules
配置好了后可以在 prometheus 的 Web 控制台 Alerts 中进行查看。
告警效果
遇到的问题
在告警内容显示这块遇到了一个问题，研究了挺长时间的。上面有贴钉钉告警后的消息接入，在描述信息中有写哪个应用，哪个实例出问题了，就是这 2 个具体的信息，在我一开始配置告警规则的时候没有获取到值。
没有获取到值的原因是我的告警规则是这样写的：
sum (rate(http_server_requests_seconds_count[1m])) > 100规则本身没问题，也能执行，就是实例值获取不到，后面研究了网上一些其他的规则，发现想要获取具体的值，就得在规则里面包含这些内容才行。
然后就改用下面的方式了，在 sum 后接上要显示的指标名称，就可以在告警信息中显示了。跟 Sql 中的 select 一样，没有写清要哪个字段就不会查询出来。
(sum by(instance,application)(rate(http_server_requests_seconds_count[1m]))) > 100