00:00
好,那么现在呢,我们给大家讲一个事例,就是我们用这个,呃,普罗米修斯提供好的exportter啊,把他这个提供好的exportter导出来的数据呢,抓到我们的英Fla DB里面。呃,普罗米修斯呢,官方为我们提供了一个note exportter,这个呢,其实是用来监控我们的主机的,呃,性能数据的啊,它会向它会统计我们主机的这个CPU的使用情况啊,包括这个呃,磁盘啊,包括进程数啊,这些指标啊,那么我们呢,把它下载下来,运行起来之后呢,我们待会就可以看看效果。这里呢,我们直接右键啊,我们现在是这个Linux amd64的这个啊,应该下这个版本的。啊,直接复制链接地址,然后到我们的这个终端上。然后我们用w get这个命令去下载这个压缩包,呃,同样呢,这个操作呢,需要用到外网啊,如果你的这个呃,外网反复通畅的话,你可以去啊,我们上硅谷的微信公众号,回复大数据三个字,来获取本次的课程资料,课程资料里面呢,我会给大家放,大家放好这个export。
01:15
啊,那么这里呢,我也是下载失败了,不过呢,我自己考虑一份,然后我们可以去这个呃,South底下看一下。啊,那么这里呢,先把这个exportter截到我们的目标路径,也就是我们说把所有的这个呃,安装的文件放到这个OT Mo目录下。打C,然后OG Mo。好,那么夹好之后呢,我们去看一下这个o module啊,有了一个新的目录。呃,那么这里面呢,它其实nodeportter呢,也是构语言写的,包括普罗米修斯呢,也是构语言写的啊,这些框架呢,它都有一个特点,就是编译出来的这个啊,可执行程序呢,只有一个单独的文件,而且还是你的本地码啊,不需要依赖任何环境,直接执行就可以了。
02:08
呃,我们执行完这个noteport之后呢,也可以看到啊,这里面直接哎弹了一堆东西,呃,但是我们可以看到,这里面有最重要的就是address是9100,也就是他呢,现在其实已经开始啊监听了,我们可以去他已经开始工作了,我们可以去9100看一下他现在的这个啊数据的情况啊,我这里开始去找那个地址,我们是HOST1。然后冒号9100进来之后呢,也可以看到这里面呢,是一个啊空白页面啊,数据呢,实际上是在这个啊9100的matrix路径下。啊,可以看到呢,我们现在其实就有了这个啊,我们这个当前是我这个虚拟机啊,这个虚拟机相关的一个,呃,指标就这样呢,被暴露成了一个HTTP服务的一个啊URL,呃,那么如果是普罗米修斯呢,其实现在就可以根据我的这个URL来抓取这里面的数据了,我们可以看一下这里面有什么,把这个浏览器放大啊,可以看到呢,有go j c seconds,就是我们现在这个go语言这个程序啊,它的这个JC的一个啊持续的时时长啊,这个go语言的这个GC持续时长呢,其实是我们现在这个exportter,它的这个GC的持续时长啊,不是说我们啊这个服务器它的这个GOGC的这个时长啊,啊,包括这个以go开头的,其实都是我们当前exportter的一些指标啊,我们往下拉。
03:35
哎,现在可以看到有这个node CPU啊,CPU相关的这些指标了啊,包括这个node desk就是我们这个设备的一个磁盘的信息啊,我们也可以看到它的相关指标啊,包括这个呃,Node这个目前的IO情况啊,包括这个device是设备是sda,可以看到我这里有sda和S20,然后呢,再往下。包括这个啊,它读写的这个总时长啊,读取的总时长,那么这样呢,其实就把我们这个虚拟机啊,我当前这个center OS的这个虚拟机啊,它里面的这些呃指标呢,暴露出来了,哦,这就是这个,呃,普罗米修斯的exportter,现在呢,我们要把这些数据呢,给抓取到这个in DB里面,呃让in DB呢,每隔一段时间过来抓取一次。
04:25
好,现在呢,我们回到我们的web UI,然后呢,呃,你要到这个到这个script这个页面上啊,再点这个create script啊在这之前呢,我们要去先去创建一个存储桶啊,防止我们这个数据呢,和之前的这些这个数据产生混乱啊,创建一个新的存储桶,名字呢就叫EXAMPLE03。呃,但是呢,这个地方呢,我们需要指定一下过期时间啊,数据的过期时间我们给他指定到六小时啊,为什么这里推荐你指定过期时间呢?啊是因为这个抓取任务呢,是在你这个in db1开启的时候就自动执行的啊,如果说呢,你把这里搞成never,那么这里面的数据呢,可能随着你的运行时间越来越大,然后最后呢,就是说你积压了很多,呃,一个为了一个事例积压了一个很多的数据,那么这里呢,我们给他指定一个过期时间点,Create。
05:18
呃,这里呢,已在零三已经创建了这个存储桶,那么我们点到这个scripts上,点击右侧的这个create script。啊,这样呢,就是创建一个新的抓取任务啊,这里呢,我们给这个script呢,去命一个名啊,就叫EXAMPLE03SC吧。然后呢,这个存储桶呢,右边这个存储桶一定要选对,我们选这个3803。啊,这里呢,是我们要采集的一个目标的URL,刚才呢,我们是host冒号host e冒号9000啊matrix我们直接把它复制过来。在这边一粘贴。好,可以看到是9100,然后matrix点。
06:04
呃,那么我们现在呢,这个抓取任务呢,就创建成功了,我们现在去这个data explorer上看一下有没有这个新的数据插入进来。啊,我们把这个光标呢,这个左边这个啊,这个form,这指定这个存储桶,我们去选这个零三。还可以看到呢,现在这里面已经有很多的指标了,我们去看一下这个,呃,Node CPU吧,我们找个相那CPU相关的。啊,不知道这是啥,我们点选一个这个,呃,随便选一个吧,然后点这个submit。哎,可以看到呢,这个数据呢,其实已经进来了。那么如果说你操作的也是这个结果,那么说明你的这个,呃。抓取任务呢,已经跑通了,呃,那么还有一个问题,就是我们的这个数据呢,我们之前说是定时抓取啊,但是呢,是多长时间抓取一次呢?啊,这里我可以直接告诉你答案,就是这里的这个定时抓取的任务实际上是啊,每隔十秒执行一次,那么在我们的这个web UI上呢,其实没有办法对这个时间间隔啊进行控制,这个是这个抓取任务呢,一旦设置完生成了,那么这个抓取间隔的时间就是写死的十秒,如果你想控制这个呃,数据写到in DB的时间呢,你就不能用这个script的方式啊,你还可以怎么办呢?
07:31
其实在这里面你还可以用这个,呃,Telegraph。呃,你前面放一个telegraph telegraph呢,它里面有这个,呃,抓取啊,普罗米修斯数据格式的数据源插件啊,你弄一堆这个普罗米修斯的数据源的这个插件呢,然后最后呢,再弄一个输出插件。啊,让它有一个这个英拉DB的输出插件。那么就是telegraph帮你去抓取啊,抓取这些,呃,普罗米修斯的这些目标数据,然后呢,发送给这个英DB,这样一来呢,这个间隔的时间呢,你就可以自己去控制了,因为telegraph呢,可以配置这个啊,多长时间往这个in Fla DB里面输入一次。
08:14
总体而言呢,这和你这个配置定时的抓取任务相比,是一个更好的方案。那么到这里呢,我们的这个案例的讲解就结束了。
我来说两句