00:01
接下来介绍一下Doris的一个日常监控及告警,那我们依赖的框架呢是?特别常用的一对兄弟组合。普罗米修斯和法。那尔法呢呢,我们经常用它来做什么,现在可以说是非常流行,像比如说flink的运行啊,还有服务器的CPU、磁盘、内存情况都能够监控,甚至呢,Click house也可以监控,那Doris呢,也可以很方便的使用他们进行监控。他们的使用是非常简单,安装非常快速啊,使用非常方便。的这么一对兄弟啊,一般我们是结合使用普罗米修斯呢,就是做。监控指标的采集和存储,格尔法呢呢做一个可视化的展示和告警,特别简单啊,我们花几分钟时间就行,另外就是我们对于这两个东西的版本没有任何要求。啊,无任何要求,所以你只需要去官网下载最新的版本就OK了,那我这边演示的这个版本是我以前装过的一个啊,不一定是最新版啊,那我们了解一下它的原理。
01:12
Doris的监控数据,它其实是通过F也好,B也好,他们的HTTP接口,它本身就有一些指标啊,我们只不过是通过普罗米修斯帮他拉过来啊,然后呢,再通过格尔法呢做一个展示。对吧,特别简单,那么可以看一下它本身自带的一些监控指标,通过F1就8030 B就8040,都是HTTP端口,后面跟上一个matrix就可以了,来我们看一下。啊,拷贝啊,新建一个。粘贴你看这边是很,你看这些全部是监控指标啊,对吧,是不是很多我们简单搂一眼啊,像比如说他。呃。有JVM内存相关的,看到没有,呃,最大值已使用,已提交啊。
02:05
还有其他的对外内存啊,年轻贷老年贷。A buffer。还有GC情况。老年代的GC啊,现成情况你看,也就是说它指标是非常非常多的,那是fe,再看一下be啊,比如说F啊,来个8040,然后呢,Ma。你看它是不是也有一堆呢,对吧,那指标我们就不一一去看了啊,它都很直白,你每个单词把它念起来就懂了,你看这是be的什么使用率对吧?好了,那这些指标冷冰冰的,所以我们通过普罗米修斯和格尔法呢做一个展示,那接下来就来安装啊,安装之前介绍一下,黄色部分是普罗米修斯,绿色部分是格法的,那我们就其实通过刚才的这个8030也好啊,8040端口也好。
03:03
普罗米修斯就从这里拉数据拉过来啊。那它内部也有一个告警模块啊。告警文化可以发邮件呢,呃,发短信啊,都可以啊,当然格尔法呢也可以实现告警都可以,他俩都行啊。看你现在企业里面用哪一个告警接着用就可以。呃,然后普罗米修斯内部是有一个时序数据库啊。会存储这些监控的指标。那格尔法呢,可以配从这个普罗米修斯的数据库查数据啊,然后做个UI展示啊。特别简单,没什么难的,来我们开始吧,那给到大家的这个资料里面啊,资料里有个监控资料啊,点开,那我这边是现在已经放了两个安装包了啊,还有那个一会儿还有一个模板文件,我现场下就可以了。那一个是普罗米修斯,一个格尔法。那你直接上传到服务器,用他命令给他解压就OK了。
04:05
解压完我又改了个名字,那我之前装过我就不再去重复了啊,大家看一下啊。那你看我在Mo下面已经解压好了一份普罗米修斯2.26.0,那我们进来看一下我们要做的第一步修改配置。你我们进来之后啊,它配置文件就暴露在外面啊,我们直接修改它。添加一个。呃,Doris的任务就可以了。我们直接往下拉,拉到哪里呢?拉到这个con。那这些job是其他的啊,其他的那我们现在要在这里添加一个job。监控作业啊,来。添加什么呢?添加啊一个是这些是不是fe节点,这是不是be节点。
05:00
对吧,那同时我们可以对它打上一个标签,呃,标签可以给它起一个组名,比呃叫fe,那这个我们叫它be,这个名字随便起啊,无所谓啊,那这节点地址就改成你的就可以了啊,一个是f fe be啊。把这个拷过来。我加到我看我加到最后面吧,加到最后面。完了,拷贝错了。呃。直接考还不行啊,那我先处理一下,得把注释先去掉是吧,把这两行注释去掉,那这样吧。这样就好了。这里换个行吧,上面是我之前配的其他东西,那我们要加的就是这个啊,这个作业名随便起啊,那这个就配置fe的地址跟端口,Be的地址跟端口都是HTTP的端口啊,那就好了,那么如果你有多个DOS集群。
06:13
啊,就是一个集群一个job就行了,你再创建一个job就可以了啊,一样的方式啊,那现在我们只有一个集群,这就配完了,超简单啊,那同样文档我把你呃把这两行删掉吧,这样方便大家去。拷贝啊。再给你们标红一下。这就可以了,那么大家要注意的一个事啊,要提醒一下啊,我们这个配置文件是点。点呢,就代表你前面的这个缩进,还有这个空格,还有这个进。你都不能变啊,你都必须是对的啊。要不然会报错。
07:01
要同级别啊同级别。嗯,那这个还先是。还得修改一下啊,我把这改一下。改成样子。啊,这里替换一下。这样防止大家拷贝出现了问题啊。这是一个小细节而已,好。那这个我就先删掉了,重新写一下缩进有问题对吧。没考全。拷贝。粘贴好,那你看现在缩进就是对的了啊,大家注意这个缩进是有讲究的啊,否则你回头出现问题不知道咋回事。好,保存退出。
08:01
这就完事了吗?完了,直接启动就可以了,B啊,普罗米修斯。啊,不用变了,就是点啊普罗米修斯啊。然后呢,我们最好你可以修改它的一个端口,它默认端口应该是9091还是9090,那比如说通常我们会给它改掉,那怎么改呢?加一个这个参数。那我直接用这个命令启动后台启动啊,No harp加一个N服务。那端口呢,我改成了8181啊,为了避免一些冲突。好了,这样呢,普罗米修斯就配置完毕了,我们看一下页面啊,我是哈杜一。嗯,那是98181。这端口随便你改,那进来之后呢,你点一下这里。
09:02
啊,Status,然后呢,这里有一个targets点一下。呃,前面呢,是我其他的监控项啊,那我们现在只找我们配的什么呢,Doris。那我们看啊。如果所有的节点都显示up。那说明它启动是。都是正常状态,都在启动中,那还有一个节点未知啊,那可能是这个节点。不行了啊,那你看再刷新一下OK了。这是我们配的作业名称,能看到对吧。那这就是好的了。普罗米修斯就配完了,接下来我们快速的配一下法。阿尔法呢,也超简单啊,也是什么呢,解压。啊,那这边我会选择改个名字啊,后缀比较长,我也是安装好了这个步骤我就不操作了啊解压命令我相信没有什么挑战对吧,你看我已经解压好了,解压完之后接下来的操作,那即使我们也不用动。
10:09
呃,我们看一下它核心有一个控目录啊进来。有一个default ini。我们正常,呃,不用修改,我们看看如果要改可以改哪些地方啊,呃,首先是第一个。数据的存储路径你可以改,这个data指的是安装路径下默认就有一个data目录啊,默认就有一个,那这个呢,就是data目录下面再有一个log目录,用来存放日志。嗯,都没什么好改的,唯一要改的就是什么呢?呃,一个是协议方式,HTTP还是HTTPS对吧,那还有一个什么端口号,还有呢,绑定的地址。那比如说我这边要改我端口改一下,我不要用默认的3000了,比如说我要8182,呃,那地址呢,比如说我就绑定为本机呗,IP嘛啊为一好可以啊保存退出其实可以不用改,那接下来直接启动。
11:14
那就完事了,是不是特别简单?来启动了,我们同样是通过no加一个end服务后台后台运行啊后台运行。啊,我直接手敲吧。No ho,然后B目录下有一个格法server,然后呢,End服。返回车。可以了。嗯。再来打开它的页面啊阿一,呃,刚才改多少8182好,进来。你看,这就进入到了一个格法兰页面,默认的密码都是me,账号密码都是a me。不保存。这个时候会让你设置新密码。
12:00
那我现在不想设不想改啊,我还是设设的,我直接跳过吧,啊跳过我不改了。进来之后你看这是格拉法的页面啊。那我们只需要点击一个这里。加号。然后点击一个。面板。点进来。呃,正常我们使用格尔法呢,是要自己手动去添加各种各样的监控图表,比如说你可以是表格形式可以是啊折线图可以是什么,那里一个一个配太麻烦了,所以格法呢,呃,提供了一个面板下载页面。我们可以来到官网点。com。基本上各个框架都有啊,然后呢,我找找啊。嗯。这里有一个什么面板?好,我们点一下。这边有提供了很多人分享的一个模板文件,那这样的话可以省略我们手动配置的过程。
13:06
有点慢。啊,让它加载吧,那我们先来其他操作。在添加面板之前,我们要创建一个叫数据源。数据源是谁啊,普罗米修斯对吧,我们说格法呢,拉的是普罗米修斯的数据啊,那这个时候我们点击呃。找一找。在这个配置项里面,这个齿轮这里有一个数据源,我其实是添加过普罗米修斯了,我再添加一遍吧。那进来之后呢,呃,你在这里搜索啊,普罗米修斯。对吧。或者呢,这是已有的,你直接点击这边的添加按钮。添加进来你选择类型对吧,你看它支持各种各样的数据来源都可以,那我们现在用的是普罗米修斯,选中它啊select。
14:08
之后呢,名字我们起一下啊,比如说我叫Doris。跟Doris用的一个数据来源UYL就写普罗米修斯的主机跟端口啊,那就是HTTP啊,阿杜一端口我们改成8181了,对吧,那其他的都基本不用改了,往下走。走到一个safe and test,点击。那么看一下。8181应该没问题。啊,写错了,我看一下啊哦,这边都打了一个T啊,你看。应该是HTTP,好,现在不飘红了,往下拉。测试你看绿色就显示OK了啊,那接下来点back返回就行。啊,那就有了我们刚才添加的这个数据源啊,8181端口了,接下来我们看一下这个面板打开没有。
15:13
啊,那我们看一下查看所有面板啊仪表板。那在这里呢,有一个搜索框啊,你每不管你是用什么框架啊,你都在这搜索啊,比如说我搜索一个dori,看看有多少个别人提供的模板。那其实只有一个。啊,只有一个。而且这个呢,也是Doris他们。啊,贡献的一个模板,那其实我们只要点进来。那找到对应的版本就行了,你看最后一次更新就两年前了,所以这没有什么变化。呃,那我们往前看呗。看一下版本。你看一共有四个历史版本对吧,那对我们来讲,呃,下最新的四就可以了啊,那你可以点击这里下载。
16:03
下载就可以了,那我这已经下好了啊,我放到桌面去。好了,呃,我放到了给到大家的资料下面,帮大家下载好了,那现在我们要做的就是将它上传就可以了,怎么上传呢?来,回到格尔法纳页面。呃,点击这个四个小格子啊仪表板。那我点击home。这里现在是空的,对吧。那我们直接点击。呃。呃,我们点一个,我看在哪里有可以创建啊,那其实我们点。四个小格子,然后这里有个什么manager,点一下管理仪表板,呃,然后呢,这里有一个new。仪表板这里还有一个什么导入,那这个时候我们就选择导入的方式来点击导入,然后呢。
17:06
可以选择这个我们下载好的接文件,也就是监控模板来点一下。这个时候会让你去选择。你的。那个阶层文件地址,诶点资料。呃,监控资料,把这个节省文件选中打开。这就可以了。还没完,我们要选择它的数据来源,我们刚才配置的普罗米修斯,那比如说我刚才的名字是不是叫普罗米修斯Doris端口是8181啊选中。然后选择导入。OK了,完事了,你看。是不是指标全都有了?啊,这是集群名称啊,这是1MASTER节点,那可以七。现在切不了啊,他呢。
18:01
Master就是哈杜二了,现在啊,那它的实力,比如说我看哈杜一的,那你往下拉还可以选择看不同节点啊。那这个同样f be,你也可以看不同节点。那你看这是一个什么?Overview是一个总览。总览呢,有集群数量对吧,Fe状态be状态啊内存CPU。堆内,呃,JVM堆内存对吧,各种东西都有。那这个是可以收起来的,点一下收起来。啊,相当于是做了一个分类啊,分类那还有其他很多很多很多指标你看。再往下看,还有各种各样的关于作业,关于事物,关于fe,关于be be对吧,查询状态,那这些可以说是这个模板也是官方提供了,可以说是非常全的啊,那有一些还没有数据目前啊,那有一些是需要我们运行起来啊,执行一些查询才有的。
19:02
这些都可以去瞅一瞅啊。这也是目前市面上我们能找到唯一的一个模板,要么你就自己添加,那这个是官方按照,呃,Do,我们通过前端页面看到的指标,它都基本上都加进来,所以我们用这个就行了啊,不用折腾是不是很方便。
我来说两句