00:00
好,那我们现在先看一下这个,呃,文档的这个标题啊,看这个位置啊,就这一小块集群监控对吧?呃,也就咱们接下来要学的这个框架,它的功能是干什么用的,是做集群监控的,集群监控这个集群监控呢,对于我们这个大数据集群来说,呃,还是比较重要的啊。呃,大家也能感受出来,我们整个数仓咱们从开始到现在啊,咱们学了很多的框架,对吧?呃,咱们数仓要想完全的这个运转起来,我们这些所学的框架是不是大部分都要启动起来呀,对吧?比如说采集那边什么啊对不对,卡不卡呀,组开啊,海豆腐的HDFS,什么这个雅安啊,什么历史服务器等等各种各样的东西是不是都得起来。都得起来啊,而且咱们大家要要知道啊,我们到时候呢,会有一个。真实的集群,那肯定要比咱们这个三台要多很多啊,十几台,20几台,30几台啊,甚至上百台,公司大的话对吧,那这么大的集群里边,我需要部署很多的服务,那其中任意一个服务出现问题,那都有可能会影响到咱们数仓的正常运转,对不对啊,那所以说我们最好能够做到什么呀。
01:12
那就是实时的去监控我们整个集群当中每一个进程啊,一旦哪个进程挂掉了啊,那我最好能怎么做,能够给咱们发这个通知,或者能够给咱们报警,那出问题那我们赶紧去给他解决就行了,是不是啊,那作为这个集群监控呢,对整个出仓来说还是比较重要的啊好,那咱接下来呢,要学的这个东西就叫就是哎,用来做这个集群监控的啊,这个名字叫做ZS啊ZS这个ZS这个东西呢,它其实并不是咱们大数据。啊,并不是咱们这个大数据这个呃里边独有的一个框架啊,你像咱们前面学的海do呀啊,什么这个flow啊,啊什么Spark呀,这些东西是不是咱们搞大数据的才学这些东西啊,对吧?你像这个Z呢,我们不光用在大数据里边啊呃,你像我们这个呃,Java项目呃对吧,我们有可能也需要去部署一个Z米去监控啊,比如说监控什么呀,监控它那个外部应用,或者监控我们这个关心数据库,买circle等等等等啊,也会用到这个东西啊,那这个东西如果大家是呃要是做过运维的话呢,应该对这个东西应该是至少是听说过啊,用不用不知道,但是至少听说过啊,在运维里边呢,还是比较比较出名的啊呃,这是这个ZS啊,那之前大家其实在学习,学习的时候。
02:31
学普鲁姆的时候,是不是也学过一个监控软件,那个软件叫什么来着,叫做空格Li对吧,还有点印象对吧?啊钢格里啊,那那个东西呢,其实也是一个啊,做这个集群监控的一个框架,就咱们这儿呢,其实用那个刚格烈亚也能实现整个集群的监控啊,也能实现啊,只不过那个刚格里啊,就是它有一点就是那个界面要相对的难看一点,是吧?啊那咱们今天学的这个zbi格斯呢,呃,它的这个各方面的功能啊,包括这个呃,美观程度啊,要比咱们之前学那个钢里要好一些啊啊,那现在呢,我们看看这个ZS到底是呃一个什么样的东西啊,来先看这个,哎,入门这一节里边这个概述啊,来我们一起来看一看这段话。
03:17
一起一点一点看一下啊,首先第一个Z哈呢,它是一款能够监控各种网络参数以及服务器健康性和完整性的软件。啊,这里边呢,提到了能够监控各种网络参数啊,能够监控到我们这个服务器的这个网络性能啊,那还有什么,还能够监控监测咱们这个服务器的什么健康性和完整性啊,那这么去一这么说的话呢,可能就是有点这个太官方了,大家可能不太好理解啊,那在这边呢,咱们就这么去记就行,那ZPS能够监控什么呀,能够监控我们集群当中的一些硬件资源,也能监控一些我们这个服务器当中这个软件的这个各种参数。啊,所谓的硬件资源包括什么呀?比如包括我们的啊网络,包括我们的CPU,包括我们的这个,呃,这个内存啊等等等等,还有这个磁盘呀,等等等等,它都能监控啊,这是一些硬件资源,那还有一些软件啊这个呃,相关的参数,比如什么呀,我们各个程序,所有软件是不是就运行在这个服务器上的各个程序啊,对吧?那在咱们这个大数据集群当中,那指的就是啥呀?是就是我们的各个哎服务啊对吧?比如说监控name notde,监控datanode,监控哎咱们的这个什么雅安的resource media等等等等,诶各种各样的进程,它也都能够进行监控啊,也能监控啊,也就是说既能监控硬证资源,又能监控这个,诶软件啊,相关的一些一些这个参数啊,好,这是呃,这个Z比它所能够监控的东西啊,然后往下走。
04:50
大呢,它使用灵活的通知机制,允许用户为几乎任何事件配置基于邮件的告警,呃,那这里边呢,我们看这样几个关键字啊,就是ZS,它是不是有通知机制啊,对不对,那允许我们为什么为各个事件啊,配置基于邮件的告警啊,对不对啊啊那这里边我们这个告警对这个监控软软件来说呢,那是必备的功能。
05:17
啊,对吧,你光监控监控里你出事儿,你不告诉我,那那有啥用啊,对吧?啊,这个通知对咱来说肯定还是很必要的啊,很必要的啊,当然这里边呢,他提到了一个呃,基于邮件的告警,基于邮件的告警啊,但其实Z这边也不是说只支持邮件,我也支持什么呀啊电话报警短信啊,甚至微信钉钉等等都可以实现,都可以实现啊,那这边我们还是呃先演示一个免费的这个邮件啊,免费的邮件。是这样的啊,那然后这里边呢,我们还有一个关键字啊,这里边关键字什么是灵活灵活啊,一会儿大家使用的时候呢,也会发现这个Z字用起来确实灵活,你想怎么配就怎么配,想配什么就配什么,确实很灵活啊,但是灵活所付出的代价呢,就是啥呀,就是麻烦啊,使用Z配子过程当中,你会发现这个步骤呢有些繁琐,配置起来比较繁琐啊好,那这没办法啊,没办法,那往后看。
06:09
下边呢,呃,这样可以快速反馈反馈服务器问题,这个不多说了,说的是他那个通知,那那个意思嘛啊,然后看下边这个其实比较不错的啊,就是基于已存储的数据service,它给我们提供了出色的报告和出数据的可视化功能,这个基于已存储的数据,这个指的是什么数据啊这个。指的是ZS它收集到的监控的数据啊,因为Z参数会监控咱们这个服务器的各个参数,各个各项指标,对吧?那监控过来,把这个数据监控完之后,它会把这个数据呢,存起来,会存到MYSL当中啊,或存到其他的关系数据库里边啊,它需要用的数据库啊,那存到里边之后呢,那我们就能把这个数据库呢,里边的这个监控数据呢,能够以诶这个可视化的方式展示出来啊,那就像什么,就像我们前面学的是不是学了一个这个superide呀,对吧?那superide是不是可以做数据可视化呀?啊,那ZS它自己就自带了一个可视化的功能,它能把你各项监控指标以图形化的方式给你展示出来,也就是说你可以做一个集群监控的大屏啊,这个其实也是可以实现的啊,啊,这个就是这个ZS它的这个,呃,几个一个概述吧,啊在这里边呢,我们把这几个重点的功能咱们提炼出来啊,第一个呢,是能够监控硬件和软件,那另一个呢,诶,能够配置这个基于各个各种通知方式的一个。
07:30
图形对不对啊,那再一个呢,能够提供报表和可视化功能啊,这是它的一个概述,行,那简单了解一下就行啊,接下来我们看下面这个概述这个架构啊Z基础架构咱们打开。啊,那Z的基础架构呢,我们可以分为以下这样的,呃四个四,呃四个角色啊四个角色来这边看这z agent。Topic server this space topic web啊,一共这样的四个角色啊,我们逐一的解释啊,逐一的介绍,先看第一个topic agent啊好,大家注意观察,我这是不是画了托个agent呀,对不对,那接下来你看看他这个怎么部署啊。
08:11
ZA部署在监控目标上。监控目标谁谁是咱们的监控目标啊。我们集群当中一台一台的服务器,或者一个一个的节点,是不是就是咱们所监控的目标啊,所以说是不是每个服务器上面都要部署一个agent,那所以在这呢,我画了多个agent啊,然后再往下那z agent它会干什么呢?他会主动监测本地的资源,这个所谓的资源呢,指的就是咱们那些啊硬件资源呢,比如说硬件这个,比如说CPU啊,呃,那个内存啊等等等这些东西,那还会监控什么,还会监控那个服务器上面的应用,也就是咱们那个所谓的软件,对吧?啊,它会监控这些东西啊,啊,那监控到这些东西之后呢,那他会把这个结果给他发送到什么地方啊。发送到咱们的这个zic server上面啊,你看zic server的干啥,Zic server呢,收集数据,收集这个监控数据啊,就是agent是不是会监控各个指标啊,监控的指标呢,会诶发送到A这个server,那server收集到这些数据之后呢,它干啥啊你看。
09:13
计算是否满足触发条件啊,然后呢,向用户发送通知啊,你是上是不是会监控各个指标,那相当于监控到之后呢,ZP会判断一下你这个指标是不是这个,诶,OK的,如果你监控的指标OK,那我就这个什么都不做,如果说你已经这个相当于触发了我这个警戒线了,那我是不是就得给用户发送通知啊,对吧?那当然这儿了提到了一个概念,叫做触发器,触发器条件啊触发器条件这个触发器呢,这一会我们使用ZPI过程当中呢,会配置的一个东西。这个所谓的触发器呢,你就可以把它当成是一个啊,一个比如说一个表达式啊,或者是在这儿呢,你就离成一个阈值就行,一个阈值啊,比如咱们这监控的是CPU的这个使用率啊,比如说那我这个使用率阈值是多少,比如阈值是80%,那一旦触发咱们这个80%这个警戒线就得干啥发通知啊,就是所就干这个事儿了啊,那当然他不光负责这个事啊,他还有其他的功能,还有啥呢?我们往后看。
10:12
这个w server呢,它会把这些呃,收集的这个数据呢,也会放在什么地方,它会是不是存储到咱们这个database当中啊啊,它会跟database进行一个这个交互的啊,哎,会存到database当中,也就是数据库,这个数据库这边呢,我们会用到,会用到谁啊,会用用到my circle或者是其他的关系数据库也有支持的,在这儿我们集群当中本来就有MYS口,所以咱们就用它就可以啊,然后呢,咱接着往下看啊,这个数据库当中它会存储什么信息呢?啊,数据库肯定存东西了,对吧?存什么东西啊,在这说了存储所有的配置信息啊,那其实不光有这个配置信息啊,还有什么呀,还有咱们这儿收集到的监控数据是不是也会存到数据库里边啊,诶都会存到里边啊,这是两类数据,那监控数据这个大家好理解,那这个配置信息指的是什么信息呢?什么的配置信息啊。
11:03
啊,大家可以想想啊,你说应该是什么配置信息啊。啊,其实很好理解啊,呃,那你想一想啊,我们这个WS你部署完了之后,那他监控什么东西,他自己知道吗?他不知道啊,他是不是得告诉他你去监控什么,你去收集什么信息对不对,这个是不是需要我们自己去做配置啊,对吧?你配的这些东西呢,也都存在了数据库里边啊,实际上是这么回事。是这么回事啊,这就是所谓的配置信息,那除了配置信息呢,还有这边收集到的监控数据都在数据库里啊,那完之后边还有一个组件叫做z web z web呢就是一个web应用啊web应用,这个web应用呢,是使用这个PHP开发的啊,跟咱们之前大家学的那个钢格列啊,其实一样,刚裂也是用PHP开发的啊,那PHP开发呢,呃,一会咱们这个会发现啊,你这个PHP开发的一个外部应用,怎么才能这个让咱们诶,呃通通过这个所谓的浏览器去访问他呀,怎么样,是不是也得部署在一个外部容器当中,对吧?那你部署在外部容器里边呢,那这个外部容器它选的是谁呢?选的是那个啊,咱们俗称那个阿帕奇。
12:08
啊,就阿帕奇啊,这个阿帕奇就是一个框架,它就叫阿帕奇,其实就是哪个应用啊,就是那个HTTPD啊,大家在学习刚割裂的时候,这个东西肯定装过啊,因为他们俩相当于是一套技术站啊pap开发外部应用,然后部署在这个阿法奇这个容器当中,这就是阿法奇啊是这样的啊,那一会咱们也会呃去啊给它部署在这里边是一样的啊,一样的行,那咱们现在先不说这个,咱们说这个z web它的功能啊,这个web应用呢,给我们提供了两个功能,一个呢是用户操作界面,一个呢是监控信息展示。监控信息展示啊,用户操作界面,这个指的是啥?刚才说了,我们要想使用zpings,是不是咱们得做一定的配置啊,得告诉他我去监控什么什么东西,那这些配置在哪做呢?不用写配置文件,直接在页面操作啊,这是第一个功能,那第二一个功能就是咱们那个数据的可视化,展示的就是我们,诶那个监控,呃,这个各项监控信息啊,展示这些东西啊,这就是Z的技术架构,还是比较简单的啊,还是比较简单的,咱们大致捋一下吧,那第一个ZA干什么呢?是不是收集各项监控信息,那z server呢,是不是统计啊,或者叫做汇总我们ZS收集z agent所呃获取的那个监控信息啊,然后呢,干啥呀?去计算一下是否满足这个处罚条件啊,如果满足,那我就报警啊,就报警,那OK database里边存储两类信息,一类是配置,一类是监控啊这两类数据好,那z web的俩作用,一个是提供用户操作界面,一个呢是展示咱们这个监控数据啊,就这。
13:45
啊,基础功能基础架构咱们就说完了啊,比较简单啊,来视频我录一下。
我来说两句