111 尚硅谷-Linux云计算-网络服务-ELK-概述

大家好，欢迎大家继续收看上硅谷的Linux云算视频，我是刘川老师。那我们本节课呢，来讲一下关于我们的一个日志分析系统叫errk啊叫errk，那erk呢，是目前生产环境中啊，一个相对比较流行的一个这种既可以是这种单个服务器，或者说几台服务器，也可以集群化的部署的这么一种日志分析工具那。严格意义上来说呢，这个ER实际上算是一种监控工具，并且它是一种实时的针对日志进行收集，并且分析，并且绘制图像，然后告知用户信息的这么一个工具，这个工具非常好啊，非常好，那我们简单了解一下什么叫erk啊。首先一般情况下，我们要进行日志分析的时候，我们一般可以把那个日志拿过来，使用一些什么正则表达式的工具，什么grak啊，赛列等等，然后呢去呃。截取获取我们想要的信息，但是呢，在较大规模的场景当中，这个方法比较低下，为什么服务器数量比较多，你想把很多个服务器上每一个日志文件都通过这样的方式来过滤，非常麻烦，再一个就是日志啊会比较大，会比较这个这个这个内容会比较大，这个时候通过这个工具来过滤的时候啊，来进行查询的时候啊，检索起来会比较慢一些。

啊，会监测会比较慢一些，那为了这个提高我们日志的一个分析和处理效率啊，我们啊专门的这个开发了这么一种叫日志的分析工具啊，那主要是为了集中化的进行日志的管理，将所有服务项日进进行收集和汇总。然后常见的解决思路就是建立集中式日志收集系统，然后将所有结账的日统一收集和管理啊。然后再来看一下我们这个地方一般大型的系统是一个分布式的系统架构，上面有很多的不同的服务，而且每一个不同的服务都有多个服务器，那这个时候如果一旦出现问题，如果你需要按照我们的这种日志去排查的话，如果你一个一个日志排查，那排查时间可能非常长，会非常麻烦，那想着通过日志找到问题的方法，这个怎么说呢，也非常。

这个码就是繁琐啊，非常繁琐，那为了这种能够快速定位问题，我们就需要这样一个什么呢？能够帮我们自动将收集过来的日志进行日志内容分析，并且呢，告诉我们分析结果的这么一种系统啊。这么一个工具啊，这么一个工具，那通过这个系统定位到具体的服务的这个运行状况，所使的模块以及所出现的问题，提高了我们这个对服务器的一个管理的一个效率。那一个完整的集中设志系统呢，需要包含这么几个特点，第一个是有收集能力，能够收集不同来源的日志，比如说有系统日志，有这种NG阿帕奇他们，可这种访问日志，还有错误日志啊，还有一些我们其他的一些日志，大家就传输，能够把日志稳定的传输到指定的这个。

集中管理的那个服务器上，OK，再一个存储啊，如何存储日志数据，那这个地方其实难度，呃，这个怎么说呢，还是非常大的啊，因为日志这个东西由于体积啊，这个比较大一些，如果我们集中存储的时候，这个时候会给检索带来很大的问题，那我们怎么来这个进行一个这种日志的这个存储呢？其实我们的这个日志集中处理的系统当中，结合了一些这种缓存的工具，然后将我们的日志啊，重要的日志缓存到我们的这个内存当中，然后来提高一个日志的一个处理效率。大家就是分析，我们需要有一个能够进行对日志的格式匹配、正则匹配，并且内容通过各种关键词进行分析的这么一个工具。再一个就是警告，当我们分析到对应的日志里边有问题的时候，我们需要把这个对应的一个警告呀，错误呀，哎，通过这样的东西来提醒用户。

我们的这个elk就提供了这么一整套收集、传输、存储、分析、警告的这么一套解决方案。那并且他所有的软件都是开软件那。各个之间互相配合使用，完美衔接，满足了很多的这个场景下的日志的分析工作，是目前相对比较主流的这种日志系统。Elk呢，这个elk其实是每一个软件的一个首字母的缩写啊，每一个软件首字母选，比如说它有三大软件，一个是E开头的，一个是L开头，一个是K开头的。OK，那我们接下来看一下E的一个简介啊。ERK3个开软件缩写啊。这个elastic search log star，还有K8的啊，这三个软件，那对应的这三个软件都是开软件，并且它是同一家公司一块开发的，他们之间相互配合来完成日志的一个收集、存储、展示啊，分析展示这么一个过程，并且啊新增了一个呃，日志的收集工具叫fire。

Bit啊，叫fire bit，那这个东西呢，是这个和我们的这个log star是结合起来进行一个日志收集的，一般情况下，这个日志收集工具会安装在呃，就是被监控端，比如说我监控N服务器，我们去把它安装到N的服务器上，而他们组成一个集群，那他们之间的部署呢，既可以单独的呃。一个服务器上部署一个，然后呢部署集群模式啊，然后呢，也可以部署到同一个服务器上啊，实现单台，那我们今天做这个实验呢，我们就实现一个这种。单台服务器上进行一个这样的一个环境的一个部署啊。那它是那个较为轻量级的日志收集工具啊。也就是说这个fire beat，它是一个轻量级的日式工具，这样的资源比较少，适合在各个服务器上搜集日志，然后传给这个叫log starch啊，Log star也是官方推荐的一个工具。

那再个就是这个elastic search，这个开源的分布式搜索引擎，提供搜索、分析和存储三项功能，也就是说我们的这个日志当中，这这个呃，搜集这个搜这个搜索，搜索指的是我们通过web界面，从这里边通过关键词来搜索，那分析、存储的功能它就有了，那它都有了。然后呢特点是分布式啊，零配置，自动发现索引，自动分片，然后呢索引副本机制，然后呢rest for风风格的接口，然后呢多数据源自动搜索负载等等，就是说它的功能非常多啊，它的功能非常多，它是一个核心的组件。那再一个就是lock star log star是主要是用来进行日志的收集分析和过滤啊，日志收集分析过滤，OK，那这个时候呢，我们通过它来进行日志收集，当然它可以直接收集，也可以通过刚才所说那个叫。

Fire结合起来进行日志收集，然后传输和存储。啊，传输和存储以及分析和过滤啊。支持大量的数据获取的方式，一般工作在我们的这个服务器端啊。那也可以工作客户端进行日志数据，当然我们现在基本上客户端数据制都用那个叫老那个那个fair bit和其他的一些日志数据工具。然后呢，在serve上负责将收集到日志进行过滤和修改，然后呢，并发往这个叫elastic search上啊。这个star和这个elastic search和这个fire bit是起一个桥梁作用，它起一个桥梁作用。那再说一下K8呢，K8这个是一个开源能远软件，它其实就是一个web界面，UI界面，我们通过浏览器房的K8界面之后，给的八呢提供了一个web界面，然后我们通过web界面的一些按钮来实现对elastic的一个操作，比如说增加条件，进行一个呃，关键词检索呀等等等等啊，所以说我们这个提巴马是一个web界面啊。

帮助我们来进行汇总分析和绘制我们的日志分析的图像了，OK。那我们刚刚所提的这个叫fire beat呢，隶属于这个beats的这个组合，Beats组合当中呢，包含四类进行这个日志收集的工具啊，其中有什么？这个packet bit top bit fire bit，还有vlog那。这些呢都是呃，各自的特性，比如说这个是是收集网络流量数据的，这是搜这个搜集系统进程文件，系统的CPU内存的信息的，这个是用来收集文件数据的，也就是说它更适合收集一些某个服务产生的这种日志，OK，而这个专门对Windows事件日志进行搜集的，OK。他们的关系。刚才我们说的这四个在这儿，你们四个啊，在客户端上进来收集数据，收集到的数据给这个lock star是lock star给。

Elastic，嗯，Search，然后再给K8呢用户通过K8呢web界面，然后控制elastic条件，然后进行日志检索分析啊，OK和展示。这就是他们之间的一个关系啊，这是他们的关系，OK，那这就是我们这个关于呃，Elk的一个简单的一个介绍啊，为什么使用erk，以及EK的一个介绍，买ER。期的学生，OK，那么本节课就有现场准备，下节课再见。