基于Prometheus网关的监控完整实现参考

prometheus 是一个非常好的监控组件，尤其是其与grafana配合之后，更是如虎添翼。而prometheus的监控有两种实现方式。1. server端主动拉取应用监控数据；2. 主动推送监控数据到prometheus网关。这两种方式各有优劣，server端主动拉取实现可以让应用专心做自己的事，根本无需关心外部监控问题，但有一个最大的麻烦就是server端需要主动发现应用的存在，这个问题也并不简单（虽然现在的基于k8s的部署方式可以实现自动发现）。而基本prometheus网关推送的实现，则需要应用主动发送相应数据到网关，即应用可以根据需要发送监控数据，可控性更强，但也同时带来一个问题就是需要应用去实现这个上报过程，实现得不好往往会给应用带来些不必要的麻烦，而且基于网关的实现，还需要考虑网关的性能问题，如果应用无休止地发送数据给网关，很可能将网关冲跨，这就得不偿失了。

而prometheus的sdk实现也非常多，我们可以任意选择其中一个来做业务埋点。如：dropwizard, simpleclient ...  也并无好坏之分，主要看自己的业务需要罢了。比如 dropwizard 操作简单功能丰富，但只支持单值的监控。而 simpleclient 支持多子标签的的监控，可以用于丰富的图表展现，但也需要更麻烦的操作等等。

由于我们也许更倾向于多子标签的支持问题，今天我们就基于 simpleclient 来实现一个完整地网关推送的组件吧。给大家提供一些思路和一定的解决方案。

1：pom 依赖引入

如果我们想简单化监控以及如果需要一些tps方面的数据，则可以使用 dropwizard 的依赖:

当然，以上不是我们本文的基础，我们基于simpleclient 依赖实现:

看起来simpleclient的依赖更简单些呢！但实际上因为我们需要使用另外组件将dropwizard的数据暴露原因，不过这无关紧要。

2. metrics 埋点简单使用

dropwizard 的使用样例如下:

simpleclient 使用样例如下:

以上就是简单快速使用prometheus的sdk进行埋点数据监控了，使用都非常简单，即注册实例、业务埋点、暴露数据;

但要做好管理埋点也许并不是很简单，因为你可能需要做到易用性、可管理性、及性能。

3. 一个基于pushgateway 的管理metrics完整实现

从上节，我们知道要做埋点很简单，但要做到好的管理不简单。比如如何做到易用？如何做到可管理性强？

解决问题会有很多方法，我这边给到方案是，要想易用，那么我就封装一些必要的接口给到应用层，比如应用层只做数据量统计，那么我就只暴露一个counter的增加方法，其他一概隐藏，应用层想要使用埋点时也不用管什么底层推送，数据结构之类，只需调用一个工厂方法即可得到操作简单的实例。想要做可管理，那么就必须要依赖于外部的配置系统，只需从外部配置系统一调整，应用立马可以感知到，从而做出相应的改变，比如推送频率、推送开关、网关地址。。。

下面一个完整的实现样例：

以上，就是咱们整个推送网关的管理框架了，遵循前面说的原则，只暴露几个注册接口，返回的实例按自定义实现，只保留必要的功能。使用时只管注册，及使用有限功能即可。（注意：这不是写一个通用框架，而仅是为某类业务服务的管理组件）

实际也是比较简单的，如果按照这些原则来做的话，应该会为你的埋点监控工作带来些许的方便。另外，有些细节的东西我们稍后再说。

4. 自定义监控的实现

上面我们看到，我们有封装 CounterMetric, TimerMetric 以减少不必要的操作。这些主要是做了一下prometheus的一些代理工作，本身是非常简单的，我们可以简单看看。

不复杂，看业务需要实现某些功能即可。供参考，其他类似功能可自行实现。

我们主要来看一下自定义监控值的实现，主要场景如队列大小监控。Prometheus 的 simpleclient 中给我们提供了几种监控类型 Counter, Gauge, Histogram, Summary, 可能都不能很好的支持到我们这种自定义的实现。所以，需要自己干下这件事。其与 Gauge 的实现是非常相似的，值都是可大可小可任意，所以我们可以参考Gauge的实现做出我们的自定义值监控。具体实现如下：

之所以要使用到 Child, 是因为我们需要支持多子标签的操作，所以稍微绕了一点。不过总体也不复杂。而且对于单值提供者的实现，也只有一个 getValue 方法，这会很好地让我们利用 Lamda 表达式，写出极其简单的提供者实现。接口定义如下：

具体使用时就非常简单了：

如此，一个完整的监控数据上报功能就完成了。你要做的仅是找到需要监控的业务点，然后使用仅有api调用就可以了，至于后续是使用jmx上报，主动上报，网关推送。。。你都不需要关心了，而且还可以根据情况随时做出调整。

至于后续的监控如何做，可以参考我另一篇文章(grafana方案)： 快速构建业务监控体系，观grafana监控的艺术

5. 使用springmvc暴露指标数据

prometheus网关，实际上并不被官方推荐使用，因为他认为这具有侵入性。那么，如果我们能够同时提供prometheus自主查询的能力，那就再好不过了。

基于以上的实现，只要稍加改造，就可以支持spring 的restful接口暴露数据了。主要分三步：1. 引入servlet依赖；2. 配置servlet服务；3. 修改注册源；

1. 引入servlet依赖

2. 配置servlet服务

springmvc中就是web.xml中配置即可：

3. 修改适配注册源

因为网关的实现中，我们是自己new的一个注册源，那么它自然不会被其他框架发现。所以要稍微改下，使用默认注册源，这样大家都方便取数据了。

如此，我们既支持网关的推送，又支持prometheus主动采集了。