40_尚硅谷_Kafka案例_监控Eagle的使用

好，刚才呢，我们是把这个一个做了一个安装，那接下来呢，我们看一下这个一个它的一个使用，首先呢，登录到首页之后，它其实是一个什么啊仪表盘啊仪表盘，那这上面呢，是整个的一个详情页面啊详情页面啊，由于网络的原因，或者说我们虚拟机啊，正常的这块呢，它是会打印一些具体的topic给的一个数据的啊数据的其实呃，咱们可以点开这个。它正常的会把这个东西放进去的啊，我们不用管了，呃，刷新一下，等会儿可能它，诶你看它现在就出来了啊，他现在出来了就会因为虚拟机嘛，它比较慢啊，比较慢，那我们看一下整个页面上面啊，这两部啊，它的一个解释啊，你可以把它拆掉第一个。卡卡这个集群啊有三台，然后呢，主题歌数有三个，来看一下test first third啊跟我们之前上课当中一样的啊，那下来如K集群呢，是三台啊，相应一个内容，最后还有一个消费者组啊消费者组OK，那下来还有一个卡普卡，它一个操作这块，我们不是启动卡拔卡的时候给到他一个内存嘛，啊，它引用的一个内存占比情况啊，如果说90多了，说明两个这个机群可能不太够啊，可能不太够，那接下来是这个同学管这个呢，是log什么。

Top ten啊，就是log的多少，再下来呢，Capacity容量的top ten，那有同学说你这个越多，那这个肯定越多啊，这不一定吧，因为有可能A主题里边消息十条，但是B主题就五条，但是我A主题注意啊，A主题十条，B主题呢是五条，但是它一个呢是1K，它呢是3K。那15K吧，它10K啊，所以它的容量反而会高，你们看到这个容量呢，它其实字节数啊兆对吧？啊具体的一个大小的啊，底下呢，是卡瓦机群啊，整个有三台机器啊填况到的，那这个是首页上的一个东西，当然每一个点呢，咱们可以点到这个细节上面，你去看一下啊，它这个端口号啊，是什么时候创建的，什么时候修改的呀等等，还有这个卢K现在谁是leader，按照我们之前那选举是不是20LEADER啊，因为按照顺序嘛啊，所以呢，这个没关系，版本号啊啊就一些详情类东西啊，你去关注一下就OK了，那第二个主题点开。

那这个呢，就把我们所有的主题就列出来了啊，Test啊，就有一个分区一个副本对吧？啊，两个分区两个副本等等，什么时候创建的，什么时候最后一次修改的，其实我们当时创建的就没有再修改过了，对吧？啊，所以就不用关心了啊们关心的好，那另外呢，点看那这个是look cable啊，你点到这来还其实跟我们刚才那个页面一样，就是查发现详情，Leader follow是谁对吧？啊点看那这个是消费者组，因为当前我们并没有启动什么消费者，当然消费者组它是零，所以呢，我们也不用看细节的，还是空的啊，它还不用空的，那这个里边呢，仪表盘就是帮助我们了解一下概况信息啊，这个不是我们重点要掌握的内容，我们重点要掌握的内容在哪块呢？这个标签。

Consumer标签以及监控的这个按钮看到没？小眼睛对吧？啊小眼睛它是一个监控的，那这个主题看一下它这里面就是create list，看见没。就我们所说的一个增删改查，那list写查看的还是详情，我们已经看到了，那我们来创建一个吧，点开主题，那我们叫一个什么呢？叫IOD物联网对吧？啊IOT物联网那两个分区吧，两个副本啊Q点。好查看系列，那现在呢，就又多了一个什么主题，两个分区，两个副本，同样的你要想删掉可以干什么remove啊就删掉，那我们就不删了啊刚创建了算了啊，List也能看到啊，这个是我们关于主题的一个增删和查吧，啊增加查这意次，那关于消费者这块，那到等会呢，我们要启动一个消费者组啊，消费者才能看到，那下来集群这块内容OK吧，这个能我们都看过了，他说大概大概有个信息，因为我们今天看到，呃，A个这个框架呢，可以监控。

Mar啊多套卡发集群，所以呢，它这块呢，你看到多个啊去修改一下，这个我们不用不用关心啊，不用操作的，还有这里边有一个比较方便的，就是说我们之前是进到从开客户端里边要去。打开这个内容，然后进到那个客户端里边去查看啊，啊，这个在页面上你可以去写，那看LS，当然切到英文啊，L com录，那这个呢，就能直接很方便的看到啊，也方便一点，这个呢，就是他给我们提供了一个able的一个客户端啊，你了解一下，这个不是我们关心的一个点，我们刚才说了topic consumer和这个什么这个东西呢，就是我们所说的一个监控，那这个监控呢，包括三块内容，第一个broke卡集群，第二个是卡夫卡，那就是说你broke卡夫卡吗？等会我们看一下它有什么区别，对吧？啊，最后还有一个如相关的，那我们来看一下，点开broke。这个地方呢，它对于我们卡普卡整个的集群做了一个归纳，你整个集群当中近一分钟数据的一个什么流入流出，也是消费者消费的一个速率情况啊，然后抓取失败的一个请求，发送失败的一个请求，那分别对应着我们生产者和消费者的，那这个呢。

We rejected，重试的啊，重试啊，一秒钟多少次啊，多少个字节等等这些内容啊，那接下来还有继续往下看，总的抓取的次数，请求的次数和生产的次数吧，副本同步的in和al，然后还有一个produce message compversions conversions，什么意思，转换吧啊，就深产者当中消息的一个转换，我们一般都不涉及到，所以大家能看到，就算我们深产者开起来这块之后呢，这个数据呢，一般还是零啊，还是零，就是说呃，一般这个失败的也会是，如果说比较多的，咱们可能卡法集群就会有问题了，然后我们可以测试一下啊，这是我们关心的一个点，第二个卡不卡。

这个就是我们能看到有一些图表了，但是现在我们并没有去启动什么卡不卡的一个生产者跟消费者吧，啊所以呢，这里边关于这个内容，其实就是刚才我们看到的一些点，它用图表的形式给我们展现了啊里边的图表呢啊，就是它这边呢，会形成这个。曲线图啊，等我们起来之后就能看到啊，等我看这个里边呢，其实跟我们刚才看到博克这块啊，效益是一样的啊，这两个呢，其实确实跟大家所想的一样啊，他们监控的内容一样的，不过呢，一个是直接以数字的形式呈现出来的，一个呢是以曲线图的形式给我们呈现出来的啊，两个展现形式不一样，那关于u kable u kable这块呢，Send派就是说跟u kable一个交互啊，它中间因为我们知道卡瓦机群它本身是要依赖于UK进行工作的，所以呢，能看到这里边的一个交互的一个次数啊，保持活跃的一个连接数，大概呢，一直是31个啊它那个，那这块呢，大家做一个了解，重点呢，那接下来呢，我们要测试一下这里边的一个内容，以及刚才我们看到监控里面呢，Broke这块内容，所以呢，我们要启动深产者和消费者了，那我们先启动一下谁呢消费者啊，同样的打开我们之前的一个代码来点开。

这是我们之前写的那个代码啊好，呃，那我来个消费者组，来一个不存在的吧，因为这个哔哔哔B我已经测试过了啊，已经测试过了，OK，呃，那我们给它改成什么呢？叫爱的硅谷0408吧，啊0408这个东西呢，是没有的，我们之前没用过俄丽斯的这个东西呢，也不要了啊，重置消费者了。啊，这个呢，我不要了，就接着消费啊，测试的是test的这个内容，然后打印到key value就够了，那我们把它起起来点走。稍等一下。

好呃，那到这块为止呢，其实我们看不到什么东西啊，因为我们没有加那个logo附近。OK，那这个时候呢，它就已经启动了，启动之后呢，我们来再来点到这个页面来看一下它有没有变化，Consumers，这个时候就会有一个什么I硅谷0408吧，啊一个主题，因为我们只监控了这个test主题点开。Running，这个running是可以点的，点点开之后你就会发现，因为我们并没有重置它，它消费的数据总共有十三万三千两，我之前自己做测试的比较高啊，Off已经到了哪啊，133000条延迟呢。为零对吧？啊，已经完全消费到了，是这个意思，那你可以点开这个内容来看一下他消费的一个情况啊，这个呢是他从那个卡瓦机群里边拉过来的数据，嗯，稍等一会儿它就会变成零，因为其实我们当前这种情况是已经从最大的地方开始消费了啊，之前已经消费过了，你看它并没有打印新的数据，所以呢，它获取的数据展现在控制台上，展现到我们页面上啊，有点问题，这个刷新一下啊，刷一下它立板就变成零了啊，所以说呢，它是正常的，正常是零，这个地方速度要注意一下，它是实时的一个速度，就是你启动完一段时间之后，如果说这个时候你来生产或者消费啊，它会有数据的来呃，我们看一个生产者吧，生产者让他生产，呃，这个数据有点多啊，1000条1万条吧，我们就1万条CR4做一个保存，还是往test这个主题里边去发送点开走。

好，这边开始发了，我们看一下这个消费者已经能消费掉吧，消费掉之后，因为它这个监控它稍微有一点延迟啊，我们刷新啊，不刷新啊刷新啊等着他这个速率呢，便不是零啊每分钟对吧？啊多少条稍微等一会啊，稍微等一会。因为它是一个实时的速率啊，实时的速率。

但由于是监控嘛，它的获取的数据你看一下呃。9800条，九千八差不多吧，因为我们当前这个数据呢，发送了1万条，它可能跨刚好跨分钟了，对吧？啊刚好八分钟了，这个呢是实时这个速率，稍微等一会儿呢，它就会又变成零了啊，因为了他说展示的是当前消费者应用的一个什么实时的一个off赛啊，对于这个主题的实时的一个off赛，所以呢，这个我们会关注一下，点开啊刷新一下，等下一分钟的时候，你就可能发现这个变成什么零了，或者说应该还有剩下100多条，对吧，100多条是这个意思啊，我们刷新啊刷新啊，等待它结束吧，啊可能要等一分钟，等一分钟，因为它是一分钟去做一次更新的啊，做一次更新的。这一分钟，每次在课堂上的一分钟就感觉有点久是吧？啊，不要急啊，因为就跟刚才我们等这个数据出来是一样的，其实对于卡布卡集群来说，这个生产者跟消费者呢，早就已经把这个事情做完了，但由于我们监控嘛，稍微有一点延迟啊，一个点延迟OK，那你看这个刚才我们看到是不是18000。

多少就刚好加这个183是1万条对吧，啊8000。870啊，17啊八八百一七，那这个是九千八对吧？啊九千八是一样的，哎，这个就刚才记错了，应该是9800多少啊，也是七对吧，这个呢是刚好是九千八啊，所以呢，数据呢也能看出来没有丢，但是你不能通过这个地方看数据不丢没丢，那你要是通过这个地方看数据丢没丢，那你要干什么，每分钟都要来看一下吧，啊这个不靠谱，这只不过说刚好我们这个测试的是一样的啊，高峰期在这啊，最高的延迟呢，可能到了17条数据啊，17条数据这个量是他这个延迟呢，延迟指的是深至者写进去了，消费者还没有消费到啊，稍微有一点延迟，这个很正常，对吧？啊刷新一下，嗯，再等一分钟，这个两个呢就变成零了，我就不等了啊，大家也能看出来这个数据呢，也就对上了啊对上了这个是我们主要关心的消费者他这块内容，而我们更重要的其实有时候就看一下这儿看有没有。

数据有没有丢对吧？啊就直接看一下这就OK了，看消费者呢，有没有实时的去消费到这个数据，看他这个延迟这块啊，这个LA，你发现它这个LA怎么来的，是拿着这个log减去我们这个啊得到这个值它越大呢，说明我们消费者处理消息的个能力偏低啊，所以呢，你要考虑增加消费者的一个性能啊，啊这块东西要注意一下，好，那这个呢，是我们关于消费者地块第二。Box点开你会完呀，这时候不一样了吧，跟刚才不一样了，这个时候呢，就有数据了，它能观察我们近一分钟，五分钟，近15分钟，他这个什么数据量啊，就刚才我们说的best in，就进入到我们当前这个集群的，有多大的一个资源，然后出去的，因为我们有消费者去消费，对吧，但是你会发现这个我们刚才说了叫重试吧，他这两个叫什么失败吧，那你看就对于正常的一个开发基金来说，这块的东西是什么？

零对吧，刚才也跟大家说了，还有最后一个是不是关于我们生产者消息的一个转换，中间过程的一个转换呀，啊，假如说拦截器啊，转换一下对吧，那另外还是零啊，所以呢，这个我们并没有涉及，因为我们只是普通的什么生产者跟消费者啊，你看一个总大小等等这个东西，那这个东西呢，有助于我们。了解一下我们整个卡夫卡集群当中啊，它的一个数据的一个情况啊，数据一个情况，当然这个有时候作学这个力度太粗了，对吧，一分钟五分钟15分钟啊，有时候不变，我们观察，那这个时候呢，我们看一下这个卡不卡，那你会发现这块会多了什么。具体的哎，时间上大小了吧，而且这个时间呢，可以随着我们看什么鼠标的一个拖拽去干什么可以去移动，你可以了解诶，它的一个高峰期，它的一个速度，你看来看一下它高峰期最高峰的速度，生产速度达到多少呀。

6000接近6600条数据每分钟吧，啊6600条这意思啊，高峰期的时候啊，这个东西，那接着往下啊，他呢往里边去写，这是BA啊字节数，因为这个是消息数嘛，这是字节数。然后best out，这个呢，是我们消费者消费，那他们俩其实保持一致，因为我们开启生产者的同时，已经把这个消费者干什么已经开启了啊了解一下，呃，我们可以如果说他们俩不是曲线不一样啊，也能帮助我们去了解一下是不是生产集群这边出了问题，还是说我们整个的什么，诶这个消费者这块出了问题，而且刚才鼠标并没有去刷新，对吧，大家能看到他这个图呢，过了一分钟他会干什么，自己去往前推进吧，啊自己往前推进，那这个呢，我们看一下，呃，消费的一个高峰期。

560B啊，这个呢是730B啊，因为我们所发送的数据相对来说比较少一点啊，就发了一个爱力硅谷啊，所以呢，它整个一个四节数也不大啊也不大，OK，那我们继续，呃，这个是best out还是写出去的，然后还有就是从。重新要的，重试的，然后这个呢是抓取失败的，这个是呢，生产失败的，这个都干什么都没有吧，因为我们看到那个数据呢，所有的都是零啊，所以呢，他也不会呈现，如果说这个突然出现有了，你要检查一下你的集群啊，看生产者消费者这块有没有日志，有没有报错，我要看卡巴集群这块有没报错，对吧？啊还有一个conver啊转换的也没有啊，也没有，因为都是零嘛，而这个是总的，那这个有有点色，这个地方要注意一下啊，也就是说卡不卡这个页面啊，啊卡巴整个的这个页面上。

我们能看到是什么呢？是对于卡巴整个集群它的一个内容。啊，它这个读写速度啊，是这个样子的啊，这个是副本，因为我们涉及到两个副本嘛，啊，另外一个副本要去同步leader啊，Leader往外写的一个速度和这个副本往里边写的一个速度啊，其实他们俩应该也是差不多的啊，也差不多的，下面呢，是它的一个内存方面的一个使用啊使用情况，那这个呢，是我们关于卡尔整个的一个监控的一个内容啊，监控内容这个是我们主要的，那还有一个问题就是大家能看到刚才我们提到一个点。我们刚才看到卡普卡也好，也就是说关于这个监控这一块啊，布斯跟卡普卡它呢，都是关于卡布卡整个集群的这个读写速度的，那如果说我要看一下单个的一个节点，那我们看一下test点开。诶这块呢，就能看到我们单个主题它这个什么，哎，一分钟五分钟15分钟一个内容，注意看一下在哪点的啊，点开这个topic这个按钮，然后呢，点开这个list，点开你想要查看的一个主题，点开好，那这个里面呢，你能看到，首先当前我们这个主题里边有43000条数据，总共大小三点五三兆，因为我们每一条数据都比较小，对吧？然后接下来是关于当前这个主题，它分区leader是谁，副本数S同步队列有谁，对吧？啊这个东西跟刚才我们看到brook里边那个纯数字化的是不是很像啊。

对吧，那里边呢，是对于整个集群来讲的，而这块我们所看的点是对于我们当前的这个什么主题啊，当前这个topic的，你可以分topic的去查看相应的一个监控啊监控，那我们所要讲的一个这个监控文量呢，主要的功能啊，就这一些啊，接下来呢，给一点时间，大家自己呢去把这个东西去玩一玩，OK了。