112 尚硅谷-Linux云计算-网络服务-ELK-监控服务器端搭建

大家好，欢迎大家继续收看上硅谷的Linux运算视频，我是刘川老师。那我们呢，这个上节课讲了一下关于ELLK这个日志管理系统，日志分析系统的这么一个组成部分，以及它的一些组件的一些简单介绍，那么本节课呢，来讲一下我们今天要搭建的这个elk的一个呃实验的一个实验的架构啊，实验的一个架构，那这次部署呢，我们部署的是以fire beats啊这个工具来进行这个日志收集，作为客户端，然后呢，使用lock starch elastic search加K8纳作为服务器端的这么一种呃架构模式，也就说我们有两台机器，一台是呃做客户端来进行日志产生和收集，另外一台是做日志分析用的。我们这个地方实际上就把他们变成一个机器上，那实际上呢，生产环境中，如果你的这种日志体量比较大的话，我们实际上是可以做成集群式的，但是我们现在由于是在网络服务阶段，很多集群的概念还没有接触到，所以这个地方我们先以单台的这种模式进行部署，那么后期接触到我们的集群概念之后，我们可以再来去展开，把这个elk的这个架构再展开，步入成集群模式。

然后呢，这个我们看一下这个。这个我给大家画的这个图啊。业务请求达到n server机器上的时候，业务请求通过浏览器请求我们的n server的时候，会找到我们N的一个服务恩格响应，并且会在access log里边记录用户的访问啊。会记录到这个918下下N4X log，当然如果你是源码的，就是另外一个目录了啊。会记录到这个里边，然后这个时候呢，由于已经产生了日志，这个小fire bit的工具，就会从这个日志志里边取到数据，那当fire bit取到数据之后呢，Fire bit会通过log starsh的504端口上传到我们的elk的sor服务器上，会上传到ELLK的所有服务器上，然后log star再将收集到这个日志，再通过as的这个search的这个9200端口上传到as search这个工具上。

那日志到这儿之后，就开始来进行分析了啊，那谁控制来分析呢？我们没法直接拿命令来进行对这个，呃，Elastic search控制的话，我们有一个外部管理工具叫K巴纳，那叫K巴纳，然后用户通过浏览器访问到K巴纳服务，K巴纳服务呢，然后上面有个按钮，通过K巴纳服务上面的按钮对elastic search这个工具进行控制，然后就可以看到对N日志的一个分析结果。啊的一个分析结果，OK，那这个就是一个我们的一个，呃，EK和NG克斯的这么一种。日志收集和分析的模型啊，分析模型，OK，这个图一定要看懂啊，一定要看懂，当然这个图也是一个我们接下来要进行环境部署的这么一个架构图。

OK，那这就是我们的一个实验部署的一个架构，那接下来我们来看一下本次实验的一个准备环节啊，OK。首先我们这个本次实验呢，使用了单台单点elk的这个模式部署，但是需要两台服务器，为什么？因为有一台需要做呃测试机客户机来进行日志产生和这个输出，OK。那elk服务器呢，1921188.10，而N那个服务器呢，叫幺九二幺八八点一百一十，OK，那这两个服务器我都已经给大家准备好了，Elk server和n server都已经准备好了，OK。然后接下来是什么呢？这个两个服务器都需要准备好各自的网络样源啊，都需要准备各自网络样品，并且都要把防火墙关闭掉，把S04关闭掉啊，这个是都会要准备好的，我们来检查一下，我们检查一下。CD的根下ETC下的样点ipl母。安装尝试一下啊。

这个题也检查一下。看样子是可以的，正在建立新的样貌缓存，新的样ma缓存建立成功之后，我们就可以来进行安装了。然后这边来检查一下防火墙IP tables。杠L没有。Get force方向这个SN关了，同样这边安装成功了，然后IP tables杠。然后get in France被关闭了。好，我。我们的前期准备工作没有问题了。然后呢，我们去下载我们的软件包啊，下载我们的软件包。那ELLK的软件包创建一个EK目录，并且在EK目录下来进行下载。

然后进行下载，使用w get命令把我们的elk的工具下载下来。先来把E想下来。OK，稍等一下我们。把这个。Elastic search的工具箱下来，然后呢，我们再把那个叫叫叫叫log star式的工具箱下来。OK，我们的这个elastic search下来了，我们再把第二个下载一下啊。下载一下。然后下载完之后，我们再把我们的那个。注意，这三个都是安装到我们的ERP的服务器端，OK。

OK，我们的这个。马上下载。好了，我们再下载最后一个软件，就是我们的K班。哦，只是复制了链接地址。后面一下w get一下。你再等一会儿啊。OK，那我们的这个K8呢，也已经下载完了，当然这次啊，这三个软件由于这个网速的原因下载的比较慢啊，你们下载的时候不会这么慢。

只要是正常网速，基本上下载都很快的。OK，那下完之后我们来看一下接下来怎么操作。首先要全部解压缩并且复制到u logo下，全部解压缩并且复制到u log下啊。我们来简单说一下。让XF先把这个。Search先给他讲一下。然后呢，再用T-XF把我们的这个。Star实践一下。最后把K版本解一下。T-XF8。注意啊，解压之后看去看一下这些文件解压之后的目录的所有者所有组，以及文件里边的那个目录里边的所有者所有组啊。

有些时候我们解压之后需要去修改一下这个，呃。呃，文件和目录的归属，否则这个文件和目录可能无法。进行正常调用和这个使用啊，OK。结完成了，结完成之后我们来看一下L-L。发现我们解压之后的这些目录的所有的搜索都是没有问题的啊，都是这个root。里的，哎，有一个有问题，K8这个有问题。一般呢，这个的所有者所度是这个。这个1000啊，这个，所以说我们就需要修改一下啊，就修改一下。我们先给他修改一下。杠大R。Root root。这个。提斑马这个模式。并且丢下去就可以了。好了，这样就没问题了，然后我们把这三个目录都复制过去，CP-A把。

Elastic复制到根下user local下。CP-A，再把这个Kan复制到根下user lock下。然后再把我们那个。Star也过去。比较大一些啊，复制一下雪花。复制完成了，然后我们在CP-A把那个log star也复制到跟下block下。

那都复制过去之后呢，就可以来进行下边分开的一个部署了啊分开。然后首先第一个是先安装我们的GDK环境啊，因为下边有软件需要有这这个GDK来解析内容，所以说这个地方要进行一个GDK环境的安装，那这次的GDK环境的安装，我们就是使用的亚板安装，直接用亚M-wins安装Java-1.8。然后星的方式来进行安装。安装完之后呢，我们还需要单独去把呃，Elastic search，还有log star，以及我们的那个K巴单独配置啊单独。一定要严格的按照我文档里的步骤要求，目录顺序什么的去执行，否则啊，只要错一个地方就就会有问题，OK。

这边马上就安装完成了。这些必要的一些依赖关系，还有一些环境啊，都需要提前装好，否则后续再进行部署的时候，如果由于前边的这种依赖关系没有解决啊呃。这个前提竟然没有操作呀，可能会造成一些后边的一些错误，无法进行解决啊。

我们的这个可以安装完成了，我们接着来看一下我们的。Elastic search的配置。那呃，Elastic search的配置呢，比。有四个步骤，第一个步骤是新建一个elastic用户。

然后用这个用户来进行启动elastic服务，那既然要用它来启动了，就得什么创建这个用户，并且把这个用户修改为elastic search那个服务目录的所有者，所有组。OK，然后切换到这个用户身份上，以这个用户身份来进行执行，OK。好了，我们来看一下啊。新建这个叫，嗯。Search的用户。野猪的身份来创建这个东西。用户创建好之后，我们将这个用户的所有者所有组修改到这个elastic search的目录上。让这个用户对这个目录有权限，然后切换到这个用户身份上。以这个用户的身份来进行什么呢？来进行这个服务的一个启动。啊，来进行这个服务的一个启动。启动方式适用。相对路径点B下的elastic-D啊杠D，然后呢，这个启动之后注意一个问题啊，注意一个问题，什么问题呢？就是这个服务启动之后。

并没法直接去看到它的进程和端口号，你需要去等一下啊，需要去等一下，我们需要等待一段时间，然后让他将这个对应的服务启动起来之后，才能看到对应的一个端口啊，才能看到对应一个端口。然后呢，一旦看到了对应的端口，我们就可以来访问对应的这个服务了啊，就可以来访问对应这个服务了，我们来看一下啊。这个地方查看是否启动成功的方式，可以用net state-ant的方式看什么呢？看9200端口就可以了。来看一下能不能看到啊。Netate-antp的方式。然后呢，这个时候找我们的那个9200端，发现这里边并没有9200端厚，这我们得等说过啊，这个服务启动啊，需要一定的时间那。必须等待它启动之后，我们才能什么呢？我们才能通过curl的方式去访问这个本地的9200端口，才能测试收入正常成功必须要等待一下啊，他不是立刻能起来的。

如果说诶这时候就起来了，就像里百的火，如果说你发现很长时间，我都等十分钟了，20分钟了还没起，那那肯定是有问题了，你等个三分钟以上，五分钟左右还不起，那基本上就有问题了，那如果说还有问，就是起不来怎么办呢？它有一个日志啊，可以用cat来查看，User log itas，这个logs下有一个叫elastic search的log。看这个日志，日志里边一般会保存这个服务启动报错的原因啊，所以说如果起不来就看这那起来之后我们来测一下啊，起来之后它是一个什么样子，就是说我们测一下这个服务正常启动之后的一个。正常启动结果就告诉我们这个elastic的版本，6.2.32以及一些其他信息啊。只要看到这个界面，就代表我们的A账号启动成功了，OK。然后呢，云顺怎么操作呀，怎么用它分析日志，你先别管为什么我们最终操控这个，这个是使用那个K8外部界面来管理它，并不是使用字符终端啊，OK，接下来我们是配置一下log log大sh lo starsh，那这个log大sH呢，是用来收集我们这个呃，其他的日志的，当然它并不是这个地方，虽然写的收集人意思，但他什么日志都可以收集，它是一个专门来进行日志收集分类分析的这么一个工具。

我们那里边有一个插件，使用这个叫。过滤插件进行对日志格式的解析和过滤，然后呢，这个我们只需要告诉他我们要进行一个呃监控的日志的一个格式就可以了，那这个呢，我是根据我们的这个呃，Ins的日志的格式，大家还记得我们那个N配里边有个叫log form mine，后边有个呃日志格式，先记啥再记啥再啥那个格式，那下边这个语句修改这个配置文件之后，下边这个语句，这个正则表达式，这个语句就是根据，就是根据NG克斯的日志格式来编写的这么一种。

啊，这个日志表达式，呃，这个中正要表达式，然后呢，我们先去修改一下这个配置文件啊，先修改配置文件。在那个下修一个配件。这是个新的目录吗？看一下有没有这个。的位置看一下。啊是啊，在这个位置。我们先回到这个位置，到跟下use log下。

然后进行一个。打开文件。然后呢，在最下边加上这个。格式就对了啊。有什么写上叫？N。Log。然后我们来写我们要加入的这个正则表达式的PP格式。好了加进来就可以了，保存退出一下。然后呢，去创建log starch的配置文件啊，在user star下创建一个叫default.default里边所写的内容，哎，在下边。这个文件由于是一个新新的文件啊。一个新创建的配置文件，所以是空的啊OK。内容比较多啊，内容比较多，把这内容附进去，不要掉括号啊，最后括号不要掉了。然后呢，我们来看一下这个内容啊，首先I input啊，Input IM input指的是数据的入口，也就是我们log starsh的精听端口，5400哦，50442504，然后再一个呢，是用来进行日志分析的插件啊，用这个wa啊。

并且呢，我们分析的时候用的是我们自己声明的那个日志分析的正能表示n access分析的那个工具，然后再一个就是呃，Group所监控的啊，所监控的我也就说收集来的日志从哪从哪收集啊，从这个1921688.10这个主机上收集。然后最终呢，我们这个日志收集完之后给谁呢？给这个本机的九千二端口，九千二端口正好是elastic，也就是说log star是收集到日志给elastic OK，就这样的一个日志格式保存去注意一下。退出一下，然后启动一下，然后启动一下。切换到这个目录之后启动啊，切换到这个目录之后，在这个目录下，然后执行no hope啊no hope命令不需要讲了吧，啊对。粘贴一下。执行。然后呢，执行成功之后呢，使用这个，如果日志如果启动不起来的话，用查。

开始看是不是有问题，如果能启动的话，就state去看。看一下有没有5044端口就可以了。看有没有收到。这个地方如果是这个。刚执行的话，有可能这个端口不存在，我们需要等一下啊。他和我们之前的那个。一样啊，服务正常启动了，但是呢，服务启动需要一定时间，我们需要等待这个服务正常起来之后，然后才会有这个灯。四。你等一下啊，如果很长时间等不到的话，记得去看一下那个日志啊，看一下。

你看下这个日志会不会报错啊？Gdk vm running只有一个警告，但没有报错，这个地方没有问题的呀。还是没有5044。Successful start，这个才是提示启动成功的，我们再来看一下。9600起来了。044呢。他还在进行一个启动，然后。

你再等一下，再等一下。他的速度相对比较慢一些啊，还得怎么。当然这也和我们这个由于是自己部署的服务器啊。还有虚拟机也有关系啊，配置。有吗？还在继续。大家看到我们的504专口赢钱了。那law star就没有问题了啊，Star就没有问题了，好了，我们再来部署的话，就是部署我们的这个K8了，那K8了那。K8呢，不说呢，也比较简单啊，也比较简单。嗯，打开K8配置文件，那打开K配置文件，那这个配置文件这个路径比较长啊，嗯，Use local k8下的这个con figure下的一个K8L。然后呢，里边有这么几个需要修改的，我们来先先来修改一下啊。

首先第一个是把这个server.host注释掉的server.host host改成server.host改成本机IP地址。比如说这样下降，也就是说监听。什么IP地址就可以了，在这。然后把这个low改成本机的地址就可以了。幺九二点幺六八点八八点一百就可以了。这是这个必须要进行修改的一个选项啊。监听啊监听。然后呢，再进入到这个K8纳的目录下，切换到K8纳这个目录下，然后在K8纳目录下直接进行一个这个K8纳服务的启动就可以了。比较方便。使用来启动下。然后呢，使用Nate看一下5601端口有没有启动。

OK，没有，还得等一下。或者查看一下日志也行。巴的日志是。热了闹好过年。他在启动，我们等一下。19216888.10~56001也启动了，那至此我们的这个ER就部署完了，我们可以通过浏览器访问19288.10~501端口。幺。

九二。六八点八八点一百的。零幺端口。通过访问到这个界面之后，我们的EK的这个单台服务器上部署的这个项目就部署完成了啊，就不完成，但是现在呢，还并没有进行一个日志的分析和展示，为什么没有进行日志分析，看着我们discover，你看这个地方其实我们没有任何的一个日志的收集啊，没有任何的一个志收集啊，Elastic date没有任何日志的一个展示，OK，怎么办呢？我们需要去部署我们的这个，呃，被监控端。N级斯内，OK，那么本节课先讲到这儿，我们下节课再来讲我们的背景功能，OK。我们下节课再见。