00:00
好,三里克,我们把整个flu呢集群已经启动起来了,那我们来查看一下当前集群当中都有哪些组件已经启动,像这里面的卡普卡,Hioop,还有flu以及呢对应的这个主keepper是不是都已经启动起来了,那么回到这个文档当中看一下。在文档当中啊,相当于现在卡卡主keepper以及op。这些组件都已经起来了,那现在呢,我想了解一下,到底这个集群通道现在是否畅通呢?那比如说我在这边生成对应的日志,然后数据能不能上传到卡夫卡的位置呢?那你怎么来验证或者证明这个通道是OK的?那现在只需要我在这块配一个卡夫卡的消费者。哎,我在一块时刻的消费卡卡数据,然后呢,这边呢,我来生成对应的日志,如果能够消费的到,那是不是就说明我这个通道是OK的。对吧,哎,好,那下面呢,我们来做一件事情,首先呢,在这边生成对应的日志。
01:12
哎,现在呢,日志就已经生成了,那日志生成了,接下来我们就要配置一下卡夫卡的这个消费者。啊,那这个消费者呢,你看啊,啊B卡卡consume啊,你说消费相关的一个控制,然后接下来我们要连接的是卡卡这个集群啊不up serve,然后hi do1029092,当然了你还可以拼接上对应的I1039092。然后后面呢,是杠杠from beginning,比如说我们从头开始消费,只要能消费到数据那就OK,那后面呢是杠杠topic,那我们消费哪一个卡不卡topic呢?还记得我们那个日志里面配置的是哪1TOPIC吗?是不是这个topic log呀,你看一下。在这个位置。这里面我们配的topic是它吧,哎,Topic log,比如说你这块配置的是什么,那你后面这个消费的时候,就要消费哪一个对应的这个topic。
02:08
好吧,那下面呢,我们来执行一下看看效果。来到这里面。我们来到。再开一个。复制规划。走。哎,现在呢,就能看到对应的日志,那就说明我们整个这个通道啊,现在是没有任何问题的,那现在呢数据呢,就已经能够走到这个位置。哎,就等待这个来进一步的一个消费。那大家再思考一个问题啊,现在呢,我们是这个通道啊,已经打通了,那万一这个数据没有消费的到,那大家应该如何去排查这个问题呢。哎,大家思考一下啊,比如说假如说这块呢,我来消费出去没有消费得到。那是什么原因有可能导致这块消费不到数据呢?
03:02
那就找呗,这个数据的链条,首先日志生成这个文件,这个脚本我们是测试过了,是不是肯定能够生成啊。好,那这个是没问题,那接下来那就很有可能是你这个flu它有可能有问题啊。它有什么问题呢?From,你还记得flu里面有对应的south China和S油漆这块有一个拦截器啊。那如果这个拦截器你没写好。那你有可能不是把张书记给录下来了。你可能把这个正确的数据给过滤下来了,所以说这个呢就很危险,哎,通常情况下呢,容易出错的地方就是这个拦截器。哎,那你要认真的去排查一下这个位置好,那别的地方呢,还有可能出现问题的地方,就是这个主key和卡不卡,你说他们有没有正常启动。有的时候啊,这个主题波,你是看到这个进程启动起来了,但是你查看那个状态啊。哎,它里面没有leader也没有follow,那这时候呢,说明这个,哎,主K边呢,没有正常工作。
04:02
那你要重新启动一下啊,或者说呢,哎,检查一下能不能把这个,诶这个主题片下面那个根目录下面那个卡卡,哎删掉,重新安装使用。哎,这也是可以的,因为是我们在刚安装的过程当中吧,哎,所以说这里面还没有真正的这种生产环境的数据,如果生产有生产环境的数据之后,那这块呢,就不要轻易的去删了,好吧,哎哎,那这个呢,就是如何将这个采集通道啊打通,如果遇到bug之后啊,怎么来解决。
我来说两句