00:00
大家好,欢迎大家继续收看上硅谷的Linux云计算视频。我是汪老师。那随着我们的学习的深入呢?我们在K8S中实现了越来越多的功能。那不管是我们K8S本身的功能,还是我们通过一些附件或插件添加的功能。那比如我们实现了一个覆盖网络,对吧,通过我们的。No。那比如我们去通过我们的magic实现我们的资源的监控。对吧,比如我们通过我们普罗米修斯进行数据的展示以及收集,监控的展示以及收集。那等等等等。但是还有一个重要的功能没有去实现,那就是我们的日志收集以及日志的查看,对吧?那你会发现,随着我们的项目越来越多的部署性,我们K8S。那他的日志的查询其实是比较困难的。但是日志查询的又是我们的一个重中之重,所以我们完全可以采用我们的开源方案为他进行解决。
01:02
那在我们的分布式服务中呢?我们用到了一个最广的日志收集的方案,就是我们的elk。对吧,Search以及我们的。Fair bit。那当然,我们不是FBI,对吧?比较常用的L呢,是loste以及卡班纳。这三个组件去实现我们的EK的集群。也就是日志的最常用的收集展示品牌。啊,那在我们的课程中呢?我们把l log stage,我们用我们的兰特进行替换,原因是它采用购言开发,更轻量级,消耗的资源更小。那但是它的功能肯定是没有fair bit去强大的fair bit可以支持我们的资源的过滤,对吧,那这里没有,当然我们在我们的平台中也不需要去。资源的过滤好也没有,也不需要这个功能,所以我们可以采用这么一种方案。主要主要主要主要就是因为它实现的消耗的资源小,这是它最大特点,对吧,好。
02:06
在我们的环境中呢,我们有这么一些。节点。分别是我们的M1。NO1。好在每个弄中呢,它有个目录,在我们的wa下的log下的,可能目录中有这么一些文件,这就是我们当前在当前节点运行的pod的这么一个日志信息了。也就意味着我只需要把这个目录里的文件给它收集出来,那这样的话我们是不是就可以在远程汇总进行分析了,对吧,好。
03:15
那在这里呢?我们会把这个目录挂载至我们的flu。这里也是一样,所以这里采用的部署方案呢,就是我们的DEMO set的方案,可以在每个节点都创建对吧?当然排除我们mass节点,因为mass节点上是不是有一个note了的污点,对吧?好,当然你也可以选择把它给关闭。那在这里呢,我们可以通过这里的。F。把数据。传递至我们的意。四对吧。在这里呢,我们的采用的方案呢,是部署一个E的集群化去实现,防止出现单机带故障,然后再通过我们的坎班纳进行所谓的数据展示。
04:08
那。当然,你可以采用我们的进程的部署方案,我们在这里采用的是K8S部署方案。也就是以我们pod为。基础类型的,当然我们并不会去手工的去创建一个一个的deployment,我们这里采用的是harm的方式去部署。那通过他的部署,你就会发现到底有多简单了,之前我们在网络服务中带大家通过手工的方案去部署elk,你会发现还是比较费事的,对吧?那接下来呢,我们就采用harm的方式呢,带大家去部署一下我们的EFK的这么一个集群。那我会先在我们的u log下的我们的install ks中呢,我们去创建一个EFK的目录。然后先向我们的ha的。仓库中添加一个。
05:00
In Beta的这么一个仓库。这里呢,我已经添加过了,原因是什么呢?因为我的机器的资源比较低,我试了好几遍,我的资源都被耗尽了,所以等会我们部署E的话,可能部署不了这么多节点,我们只能部署一个单节点的啊。好,那接下来呢,我们再去进行我们的创建一个名人空间,我在这里已经有了,对吧,然后呢,去把我们的。Elastic search呢,去把它给挡下来。好。然后我们去解压这么一个electric search。好,打开它的values文件,我们做一些修改。第一个就是。在这个集群下,他们告诉最大的这么一个must节点,必须要有两个才证明这个集群是活跃的状态。那还是那句话,默认它有三个节点,那在这里的话,呃,三个的话,我我的机器是真的带不起来了,我是16个G的内存,最起码我估计得20个G的内存才才能去使用。
06:09
那大家如果做实验的话,你就开一个节点吧,大部分人的机器应该跟我一致,对吧,16个G内存的好,那三个节点呢,在生产环境中去使用吧,那这里的客户端呢,我们也不需要两个都给改为一个。这里的MAS节链我们也把它改为一个,这里有一个持久卷,它需要有一个PVC的请求,那在我的环境中呢,我们没有多余的PV供它去用了,所以我们在这里就把它改为false了,那在你的生态环境中呢,你只要你的PV。只要符合这么几个状态即可好。Data呢,我们也是一个节点了,我们都是单节点了,我的机器实在是跑不起来,我之前想给大家部署一个高可用的呢,结果。机器不行,我试了好几遍了。
07:03
保存退出,那在这种情况下呢,我们就可以直接去运行了。指定我们的名文件名啊,指定我们的名称为E1对吧,然后名称空间是efk value6文件以及我们的in CU仓库下的。Search。好,我们在这里就可以指定当前路径了。那我们就酷CTR get po-NFK,我们稍等一下。那我们在这里呢,稍等一会儿啊。
09:10
好。我们在这里发现了,他们都已经运行了,对吧,我们可以启动一个我们的cos来测试一下。Corals的镜像名称为corals,对吧?然后我们退出以后,它就会自动删除,其中是并加SH,我们col去调用一下,看一下它的效果。好,已经进来了,直接C访问我们当前的note节点。好,我们看一下我们当前的地址。库普city get s VC。杠NFK。它的呢是10.66.94.81。
10:13
端口呢是9200,我们可以在UR logo下的。在我们的plug啊,EFK。Cut下一个蓝旗下的。Value,我们可以看到。好,我们直接访问吧,找不到是吧,920。好,那在这里我们可以看到我们有客户端对吧,主服务以及我们的数据库都已经出现了,证明我们的这个业集群是没有问题的,好,那接下来我们部署我们的fluent。我们去同理对吧,我们先把它荡下来。
11:06
这个实验呢,非常简单,但是呢,它对性能要求非常之高,三个节点试了我好几个小时了,总是各种。各种我们pod去重启,原因就是资源不够用,进行了OM了,所以建议大家如果你的机器我的机器都16个G,如果你没有20个G的话,不要尝试它的默认配置。那在这种环境下呢,我们直接再去更改一下我们的浪色系的访问地址。这里的客户端地址呢,把它改掉。改成我们这里的地址。City get s VC-N。EFK。10.102.94.81。好,保存退出。
12:02
然后呢,我们直接去运行。好city啊,Get po-FK。已经运行了是吧,好。那接下来你会发现这是一个pod node类型,对吧,在两个节点上运行了,肯定是一个是我们的NOE01,一个是我们的NOE02,对吧,没问题,好,那接下来再运行我们卡班纳。你会发现在这里呢,我们通过刚刚沃森指定的一个版本,原因是什么呢?最新的版本的卡班纳跟EL的。他们的两个版本不一致,所以0.14.8的版本跟它匹配,我们之前说过对吧。部属efk的话,E和K的版本一定要一致,不然的话会出现报错对吧?好,那在这里我们会选择这个版本去构建。这个版本下他两个镜像是一个版本,需要注意一下。
13:02
好,我们去下载一下。然后呢,我们去解压我们的最后一个组件,也就是我们的卡班纳。我们去看一下它的values。我们再打开一下Y6。6.402对吧。那在这里呢,我们依然去改一下我们的伊朗色旗的这么一个地址信息。他的地址是。这地址好站进来。那这个镜像呢,我们要把它下载一下。因为这个镜像下载不是很稳定。我们。版本是6.4.2。六点四点。好,我们保存。
14:00
稍微等一会儿。
15:33
好,这里我们已经下载成功了,我们去保存一下,传到别的节点。这些镜像呢,就是EF可以使用的镜像呢,到时候会下载下来,会放到大家就是共享硬盘里,大家去下载即可。不需要自己去分行下载。我们稍微等一下。
16:54
好。然后呢,我们去把我们的卡巴纳去导到别的节点,K8S的NOD02。
17:23
好,我们在二幺节点也导入一下拉杠二卡班纳。那接下来我们就可以去部署了,对吧?指定我们的名称为卡巴纳,一放在EFK的名称空间下,指定我们的value,六指定我们的版本,那当然我们可以通过点去代替,因为我们已经下载到本地了,对吧。稍微等一下,等他导入完毕。
18:11
然后我们再到一号节点,我们去。运行。Cooper city GA po。杠FK。已经运行了对吧,那接下来呢,我们去看一下我们当前的SVC,我们会发现啊加杠EFK对吧?好,我们会发现我们的卡巴纳呢,是一个class的IP,那它是不允许访问的,所以我们就。灯将不允许访问,不允许外部访问对吧,那我们就A,我们去修改一下它的方式,让我们可以在外部直接访问。那在这里呢,我们把我们的class的IP呢,改成我们的note。保存退出,那我们再去get一下我们的SVC。
19:01
32609端口对吧,我们过来访问。叫谷歌访问吧。192.168.66.10。32609。我们访问进来,我们去创建一下我们的索引序列,那我们就根据我们今天的日期,我们去创建,我们看一下时间。主要的原因是什么呢?我怕万一如果把所有的文件都给索引上的话,它的速度会非常慢,对吧,因为我现在机器已经非常之卡了,我们就用一下今天的时间。的这么一个文件。
20:03
好,下一步。我们去通过时间序列去分片。好,稍微等一下有点慢对吧,好,已经好了,好。那这样的话,我们就可以在我们的。这里可以看到了。我们。我们去看一下我们的当前的。日志。有点慢,我们稍微等一下。好已经出来了,对吧,那这个呢,就是我们的。E、这里的收集的日志信息都已经在这里显示出来了。
我来说两句