09_监控报警_Prometheus集成Flink

那么接下来呀，咱们现在把我们这个普罗米修斯它的一些基本的用法呢，给大家简单介绍一下，对吧？那么也就是说普罗米修斯现在呢，采集已经准备好了是吧？就是他已经准备好开始去做指标采集了，但是呢，同学们我们现在来看，那么在我们当前呢，给普罗米修斯它所提供的指标里边，那么有没有弗link应用程序相关的一些指标呢？其实没有的，对吧？那么如果说我想去看一看我这个link它运行的一些指标的话。那么这个时候呢，咱们需要把普罗米修斯和我们这个弗Li呀给结合到一块儿，那么怎么样去把普罗米修斯弗Li做集成呢？那么咱们来看一看我们的集成步骤是吧？那么具体在做我们的集成的时候呢，大家可以看到对吧？我们第四章内容在弗Li格本身呢，它也提供了一些我们的指标，对吧？可以在福利内部呢，做一些我们的指标的收集，那么通过这些指标呢，让开发人员更好的去理解咱们当前辅Li个作业，或者它的个集群的一个状态，对吧？那么这块有同学可能会想说，老师你前面不是说说我现在呢，这个pro它有个好处就是它去我们这里啊，这个服务器上去读取拉取数据，对吧，然后不需要呢，我的应用啊，做什么样的处理对吧，那注意啊，同学们，它拉取数据的指标呢，那肯定是有限的，那么这个弗Lin本身呢，它为了更好的让我们的开发人员去啊看看。

你做的运行情况的话，那么人家呢，他专门提供了对我的普罗米修斯这个监控的支持。对吧，那么从哪可以看得出来呢？那么你现在从我们的弗Li它的一个源码中，那你其实可以看到，在咱们弗Li它官方里边呢，它其实提供了对我们这个普罗米修斯支持的这样的一个插件，注意啊，它并不是说在弗Li框架本身来提供的，对吧，就是我现在不管是对吧，用不用这个监控，我都要把这个东西给加进来，并不是这样，它是以插件的方式呢存在的。

对吧？所以说呢，到时候咱们要想用的话，那你应该把这个插件拿过来，放到我们这个link的Li包下边，因为我们真正在加载程序的时候呢，它是从Li包下面去加载相关呢自己码文件，所以它的1CLASS pass对吧？那么具体集成的步骤那应该什么样的呢？对吧？那么咱们现在呢，来看一看，那么首先第一个我们呢，去拷贝我们这个夹包，对吧？那么这个夹包呢，大家可以来到哪呢？可以来到我们这个S下边，对吧？那我这里去找一个最新的就是最纯净版的dlink，那T-cx vflink，然后呢杠大C解压到我们这个model这个目录下边啊，我直接把这个当前辅零应这个安装文件呢去解压，那么解压之后呢，来到我们这个model下边，那么大家可以看到这里边呢，有一个FNK对吧，那么咱把它的名字改一改flink一点多少一二，那我改成什么呢？我改成我们现在。

这个弗林普罗米修斯啊。好，我把这个东西给改成弗林普尔米修斯对吧？那么改完之后呢，同学们，那么咱们现在呢，在这里，那我进入到我们这个弗林格普尔米修斯里边去是吧？来进入到我这弗Li普尔米修斯这里边来，对吧？那我需要呢，做一些我们的配置对吧？那么具体需要配什么东西对吧？那么首先第一个我们说我们现在弗Li它本身提供的插件的支持呢，它是在我们这个拉下边，那你需要去把它拷贝到我们这个类目的下边，对吧？那么大家可以看一下啊，咱们现在具体这个插件在什么位置对吧？那么我现在进入到plugins这里边，那么在拉in里边呢？那么这里有一个叫咱们的个指标统计的的一个普罗米修斯对吧？那么你可以看到在普罗米修斯这个下边，那么这里有一个我们弗Li格官方他提供的对吧，对普罗米修斯支持的一插件，就他本身如果说要加的话，他会把一些指标呢，对吧给。

我们的pro修斯发送过去对吧，那么但是咱们现在这个东西它并不会被我们的辅定程序的给加载，因为我们要加载程序的话，它是从我们内部下面加载的，所以说呢，我需要做一件事情，就是拷贝我们当前这个插件，这个价包到哪呢？到我们的o KT model，然后弗Li普罗米修斯这个live下边，对吧？然后来到OT model，然后弗Li普罗米修斯leave下边啊。来进入到我们这类部下边，然后呢，你看一看这里它是不是多了一个这样的插件啊，那这样的话，我这个福利程序啊，在运行的时候，它就可以把这个加包呢给加载上啊，那么我现在呢，这个价包拷贝完之后，那么接下来咱们呢，来到我们这个茯pro下边，那我要去修改它的配置文件对吧？那么来到我的。com复目录下边对吧？那么到达。com目录下边，那么去找我们的sli它的核心配置文件，那么在核心配置文件里边，我们需要加一段东西，那我直接呢来到咱们的最后是吧，那么大，最后我要加这么一部分内容是吧？那大家来看是吧，那我要加的东西在哪呢？是吧，来找。

那我需要添加这么几个配置对吧？一个呢，是我现在要与普罗米修的集成，对吧，那么他呢，做我们这个指标采集的时候，你看这里是不是有一个对吧，咱们当前呢，它的一个getateway啊对吧，那么有什么呢？你可以看到promise米修斯push getateway reporter，那也就是说们现在呢，要把这指标通过我们这getway的方式，对吧，给他呢，对吧，先收集到，然后普罗米修斯呢，再从我们getway对吧来拉取对吧，然后第二个，那么咱们现在呢，那你要配置一下我们这个普米修斯它的一个对吧getway它的一个地址和端口号，这个东西咱们是不是已经配置好了呀，对吧，在前面我们安装我们的push getway的时候，大家可以看到，对吧，咱们呢，在前面去安装我的getway的时候，那其实呢，我们已经指定好了地址在202上端口号呢，是9091对吧，所以说这块呢，咱们对吧，已经把它处理好了对吧？然后接下来那么再往下的话呢，那么还有一个。

个是对吧，那么我们的flink它的一些指标在我们这个前端展示的时候，它的标签的前缀一些后缀对吧？像这些东西呢，就是说我现在有些指标展示的名字是什么样的，那么这块呢，你可以自己来配置啊，那么另外一个多长时间去拉取一次大指标对吧？哎，我主要配这些内容，把这些东西呢，咱们拿过来注意，同学们，我在拷贝的时候呢，也要注意一下，大家看啊，我现在如果说前上面这有这个注释的话，那么他在拷贝的时候呢，会把注释呢，也一块给我拿过来，我就放最后了啊对吧？那么咱们现在需要把这注释呢给它干掉是吧？来把这个注释呢给干掉是吧？来在这里是吧，我们现在呢，把这些指标的注释给它干掉好了，那么咱们现在呢，这个把这配置完了，那配置完毕之后呢，那相当于我们的link应用程序啊就OK了，对吧，那我们接下来要做一个测试，那为了测试方面同学们，我这里边呢，一个最简单的flink应用程序，对吧，那比如说在我这里边。

来啊，我把这个都关掉啊。啊，那我这里呢，有一个简单的link应用程序，比如说呢，就是一个word count对吧，就是word count，那么这个应用程序呢，它大概的一个对这个功能就是从指定的端口呢来读取数据对吧？那你想我现在想从指定的九九端口来源源不断的获取数据的话，那你首先呢，是不是应该在我们的202上把我们这个网猫给它开一下呀，对吧，NC-2K，然后呢，999对吧，那我现在呢，要从指定端口来读数据对吧？那么读到数据之后呢，我对咱们的数据做一些我们的切分，然后呢，做一些求和啊，做一些分组，做一些求和，然后最后呢，把打印输入出来对吧？然后接下来我把当前这个应用程序呢，打了一个我们这个架包，对吧？打架包，那么打完架包之后呢，那我要把这架包给上传到我的服务器上来，同学们，那么咱们现在要想去运行的话，那么你需要把我当前的这个应用程序，对吧，它所打的这个架包呢。

给上传到我们这个服务器上是吧？来，那咱现在呢，来去上传一下，那我就直接上传到我这个服务的根目录了啊，那么对于我现在呢，这个应用程序的这个代码的话，同学们在我给大家提供的资料代码里边这里有对吧？那我只不过呢，把咱当前这里边的东西简化了，那么大家呢，到时候可以直接去拿我们现在的这个程序，你们自己打个包，然后上传服务器上，这样就可以对吧？哎，那么咱们现在呢，把它上传到服务器之后，同学们，那我是不是得去执行我们现在这个程序啊，那么怎么去执行呢？对吧，那我要去提交我们这个利应用，对吧？那么怎么去提交我们这福利的应用，对吧？那我们说我现在呢，要想这个这个运行环境，那我的辅令应这个集行环境呢，有三种，一个呢是local啊，我现在它的运行环境一个是local，那么另外一个呢是三洞对吧。

啊，是一个标准性环境对吧？那还有一个什么呀，雅恩对，那么咱们现在呢，这里就以啊斯这个弗Li格昂雅恩来进行测试，那么如果说要是否定昂雅N的话，那么你现在是不是得先去把DFS把这个给我提起来啊，先去启动这DFS，然后呢，把这雅N集群是吧？那么把它呢给我去启动起来是吧？把咱们的雅恩也我启动起来是吧？我要先去把咱们这两个东西呢启动起来是吧？那么启动完毕之后，同学们，那我接下来准备去提交我们当前的这个Li应用对吧？那么怎么去提交呢？在B目录下边，那么这里有一个link对吧，这里一个可执行命令，然后接下来我要去运行对吧？那我运行的话，那么指定我们的模式，那比如说雅N，我以per job的方式对吧，来进行对吧，那么如果运行的话，运行哪个类呢？做杠C来指定类，那么这块呢，是我当前运行类的全限定名来用。

附件拷贝它的权限类名给拿过来，然后接下来，那么咱们现在那么在哪去找到这类呢？咱指定价包在当前这个下边，那么有一个我这个加包对吧？那么在踢掉之前呢，同学们，那你可以看到啊，我们现在呢，还豆202端口号是7870对吧，那你看一看是否退出了我们的安全模式对吧？那么这些呢，都OK了，那么咱们现在开始去提交我们的应用对吧？那也就是说我现在呢，要提交一个辅Li应用程序对吧？好的同学们，那么咱们现在啊提交一下，那么当你辅Li应用程序呢，提交之后，同学们，那么咱们在这里，我刚才不是配置了吗？它会有一些我们这个对当前辅定应用程序它的一个指标监控，那么咱监控是把这些指标放在哪了，是不是通过我们现在这个，我们现在这个这个link给他推送到我们的push getway上面去呀，对吧，然后接下来，那么如果说我现在。

在整个程序执行的过程中，同学要看这张图对吧？那这里边是我现在它的一个应用程序对吧？那么我现在这个程序的这是flink的啊，我现在是一个flink程序，那么flink呢，它本身提供了对pro的支持，它会把当前的一些指标给它放到哪，是不是放到我们现在它的一个push getway啊push getway对也放在它的一个网关上啊，放在网关上对吧？然后接下来那么我现在呢，诶已经放在网关了，那我这个普米修斯是不是可以从我们当前这个普盖way里边来采集到数据呀，对吧？普罗米修斯我一直启动着呢，同学们普罗米修斯我一直启动呢，对吧？那么如果说咱们现在呢，大家看到这个job呢，已经提交了，那么这个时候呢，大家可以从我们现在这个雅恩的管理界面给它进去，对吧，比如说哈豆op是吧，那么雅恩我在203这个机器上端口号呢，8088是吧，那么进来，那么进来之后咱们这里有一个应用程序提交了，那么点进。

去对吧，那么到我们现在呢，它的一个对吧flink它的web UI界面，那么一个应用正在执行，其实大家可以看到同学们，咱们现在要想去做指标监控的话，那么其实你不借助于第三方的一些对吧，我这这个什么指标监控的这样组件，我这个福定本身人家也有对比如你看我现在这里边它是不是也有一些什么指标的一些监控啊，比如说在在这儿是不是也有对吧，你看在这里对吧，我也可以监做一些监控，只不过这个呢，做的是相对简陋一点，对吧？那么咱们现在呢，对吧，那我用什么，我用的是我们这普罗米修斯对吧？那么如果用普罗米修斯的话，注意同学们，你现在把福利程序呢，已经都要提交了，然后提交之后呢，这个指标对吧，咱们是推送给我们push getway，然后呢，我们现在普罗米修斯从我们这个getway上面去拉取指标。

看一看有没有有没有什么变化啊，来我这个刷新，当我这个刷新之后，同学们点击我们现在呢，它的提示，看一看这个指标都有哪些，那么如果说你看到这些弗Li开头的指标的话，那么说明我们现在普罗米修斯和弗link的集成呢，就成功了啊，就如果说你看到这个的话，那么说明我们现在呢，这个普罗米修斯和弗link它的集成就成功了，对吧？注意它是怎么集成的对吧？那再说一遍，就是我们当前呢，这个link应用程序在提交的时候，对吧？那我们在这里做了一个配置，做了什么样的配置呢？对吧？来我现在呢，把这个再看一下，对吧？来到我们这个OPT model flink，然后接下来这里边有一个普米修斯是吧？这里边呢有一个flink，它的一个配置文件是吧。

来一个它的配置文件对吧？那么在配置文件里边呢，咱们会把当前它所采集的指标给推送到我们现在呢，它的这个push getway这个网关上去，对吧？那也就是说首先第一件事，弗Li本身呢，会做一个推送，它要把这个东西推送到我们这个网关上去啊，Getway上去，对吧？然后接下来普罗米修斯呢，会从咱们现在这个way上去拿咱们这指标，所以说你看到普定程序已运行，那在pro修四里边，它会有当前link相关的指标，对吧？那你可以看到对吧？这里边比如说你可以看到什么job manager相关的这么多指标，什么task manager相关的，比如你看现在来个简单的这个task，这个tasklo这个总数，对吧？在咱们这里边把这个清掉啊吧，比如说你看我现在在这里什么slo。

对吧，你看这里边对吧，他到总数对吧，然后去执行，那么这里你可以看到咱们这里就一个，因为设并行度啊吧，就是一嘛，对吧，当你看到它的时，说明咱们现在和福利的集成对吧，就成功了。来，停一下。