Grafana单图表告警邮件&面板图（Dashboard）
Grafana单图表告警邮件&面板图（Dashboard）
Grafana是一套开源的监控图表显示框架，可以很方便地和监控框架结合来显示精美的监控图，比如常见的基于Zabbix监控来显示图表，这方面本文不细说了。
单图表（panel）告警邮件
说到监控就一定会有告警邮件，否则如果要人每时每刻去关注图标是否超出指标，那也太累了。Grafana目前有一个很好的功能，就是可以直接在Grafana上设置告警项，不需要去其底层监控框架操作，这样一来我们获得的告警邮件也是基于日常熟悉的Grafana图表来的。
在Grafana的左侧菜单栏，有一个铃铛的图表就是进行告警和通知设置的：
第一个Alert Rules是设置告警规则，这里可以查看所有设置过的告警条目，查看各个条目的当前状态（是否处于异常状态），并可以对各条进行操作（比如停止监控告警或者编辑条目）。这里需要说明的一点是，Grafana的告警项一旦触发异常告警，那就只会进行一次通知，然后等待人来处理，即使你设置了每分钟检查一次，也不会每次都给你发通知说异常了，也就是说，只会在状态从正常转到异常的那一次会通知，直到人处理后恢复正常，才会继续判断。
第二个Notification channels是通知渠道，Grafana支持多种通知方式，比较常用的是发邮件的Email方式和回调指定接口的webhook方式。其中webhook是指当触发异常告警后，会对你指定的接口进行一次请求，发送你指定的内容，因此这种方式可以有很大的自定义性，但主要是获取数据和文本。我们这里主要讲Email方式。
想要发送Email，当然得进行邮件配置，Grafana采用标准SMTP协议，所以我们需要有一个开启了SMTP协议的邮箱，这方面的细节可以参考我这篇博客：Python利用SMTP协议发html格式含图片邮件
Grafana的邮箱配置不在web界面上，而是要修改一个配置文件，文件默认是在/etc/grafana/grafana.ini，修改配置文件如下：
# 邮件服务器配置，自行修改配置
[smtp]
enabled = true
host = smtp.qq.com:465
user = 你的邮箱
# 这个密码是你开启smtp服务生成的授权码
password = 你的密码
;cert_file =
;key_file =
;skip_verify = false
from_address = 你的邮箱
from_name = Grafana修改配置文件后，需要重启Grafana服务来生效。这时候就可以设置通过邮件来告警了。
我们在Notification channels中添加一项通过Email来发通知的channel：
要注意下面的Email addresses中是告警时会收到通知的邮箱列表，不是发送人，发送人在配置文件里配好了，都会由那个邮箱发出。
现在选择一个要监控告警的图表（panel），点击标题，选择Edit按钮：
选中Alert标签页，就可以发现其中的Notification页多了一个邮件通知的选项了：
这时候就可以在Alert Config中根据需要配置告警条件，一旦触发就会发邮件到我们设置的接收邮箱报警（只会报警一次，直到你处理后恢复正常）。值得一提的是，设置告警条件时，图表中会同步出现一个心型图标，可以拖动进行阈值设置。
设置完成并保存后，一旦触发异常条件，就会发邮件告警了：
如果你收到的邮件中只有图表，没有文字，那很可能是服务器上没有安装字体库，参考这里的解答：https://github.com/grafana/grafana/issues/7026。需要通过命令安装相关的库：
yum install fontconfig
yum install freetype*
yum install urw-fonts如果你用了中文，那上面的步骤还是无法在图片中渲染中文，还需要给服务器的环境配一下中文支持。
面板图（Dashboard）日报邮件
上面的做法有两个限制，第一是只有在出发告警的情况下才会发邮件，而且发一次后除非你处理了，否则不会继续发了。第二是只能对发单个图表的图片邮件，但Grafana有一个很大的用法是Dashboard，也就是在一个面板中放置多个图表，方便一眼看过去很明了。
如果我想要发面板图的日报邮件呢？
这是一个很常见的需求，但是目前Grafana并没有直接支持。所以需要一些特别的方法。
方案之一
首先，有一个开源工具叫Grafana reporter。他的做法是另起一个服务，然后利用Grafana的一个功能：Links。
在Grafana的Dashboard界面，点击设置按钮可以看到左边的标签中有一个“Links”，该功能可以给当前面板上加一些按钮，来调用某些链接（Link）。所以这个工具的做法是另外运行一个HTTP服务，然后在Grafana的面板中添加这个链接，点击后可以生成当前面板的PDF文件，当然也可以下载该PDF文件。
那么利用这个工具，你就可以自行访问该链接，拼装Dashboard的uid进去，得到该面板的PDF文件，通过脚本下载下来后再发邮件就行了。
这个方法的麻烦之处在于需要另外跑一个服务来提供PDF生成能力，而且PDF也不太好直接放在邮件正文里展现，更适合作为附件存在。所以我在尝试之后最终没有使用该方法，有相应需求的话可以参考这两篇博客进行配置和使用：
更简单的方案
我们点击单个图表的标题，出现的按钮列表中有一个share按钮，点击后可以发现：
最底下有个按钮可以直接获取渲染图的链接，点击后你会发现你会直接得到一个该图表的图片URL。虽然URL是一长串，但其实这个GET方法的参数都很明确，有不确定的查一下官方文档也能够清楚：http://docs.grafana.org/reference/sharing/#direct-link-rendered-image
那既然单个图表可以这样访问，那整个dashboard有没有这种直接的渲染图url呢？有的！
打开官方文档：http://docs.grafana.org/http_api/dashboard/#get-dashboard-by-uid
有一个GET api可以直接通过dashboard的uid来获取它。uid是什么？这个页面的最上面有解释，id就是dashboard在我们的Grafana中的序号，而uid就是一个唯一标识。
但是这个api还不够，我们要做日报还需要像图表url那样设定面板图的时间区间并得到图片才有意义，那我们就把链接仿造上面图表的形式写一遍，大概变成了这样：
http://grafana-server-url/render/d/uid?from=1546387200000&to=1546991999000&var-datasource=xxx&width=1500&height=700前面替换成你的服务域名，从“d/”后面可以进行自己组装，uid怎么获取？在你的面板界面的链接中可以看到，结构基本差不多。from和to两个数字是时间戳，后面依此是数据源、图片的宽和高，其实也可以像图表一样跟上tz和timeout参数，但不跟也能正常访问。
这时候我们就可以根据这个链接来获取到我们要的时间段内的指定dashboard的图片快照了！
需要特别注意的是这个GET请求是需要鉴权的，毕竟不能让任何人拿到了链接都能随便看我的监控数据吧，所以Grafana也有一套鉴权方案，是以Bearer的方式，具体不细说，用法就是在请求url的时候需要加一个header：
- "Authorization": "Bearer YourAdminApiKeyToken"
如果不加这个header，那就会返回授权失败。这个token怎么得来呢？可以参考官方文档：http://docs.grafana.org/http_api/auth/。在Admin账号下进入设置界面创建API Key，这个Key也有角色，分别是Viewer、Editor、Admin，权利递增，而Admin角色的Key拥有访问一切链接的权利。创建好Key（token）后，记得保存，因为只会在创建的时候显示给你看那一次，之后就要用这个token来访问URL了。
接下来就是使用脚本来定时访问组装好的url、下载图片、发送邮件了。这方面不再细说，分别可以查看我的博客：
另外我也写了份完整的工程代码：https://github.com/Cloudox/grafana_dashboard_mail/tree/master
定时每天获取指定时间区间的dashboard图片并发送日报邮件，如果下载dashboard图失败，也会发邮件进行提醒，如果有帮助请不吝给星~
参考文章：
https://www.cnblogs.com/yyhh/p/4792830.html
http://kubiops.com/blog/2017/02/27/Grafana%E5%91%8A%E8%AD%A6%E9%85%8D%E7%BD%AE.html
腾讯云开发者
