00:00
啊,既然你生产者没问题了,那我们接下来该干嘛了,往下看该干什么了,采集和消费了啊,所以呢,我们接下来呢,把这个消费呢,我们来给大家说一下啊来他说了啊,我们的生产呢已经完成了,接下来呢,我们要采集我们的数据,在企业中你要清楚流市数据采集框架和卡夫卡的定位是什么,我们在此呢,需要通过我们的采集到卡夫卡之后,再消费给我们的base有贝把它存储起来啊,就是这样,那么这里呢,其实我们之前给大家介绍过和卡夫卡的区别,我们这里不再详细的介绍了,我们只要把它用起来就可以了,而且咱们之前还恰恰把鲁和卡夫卡咱们单独的去用过啊,只不过你用完了卡夫卡呢,咱们就打印出来,没有别的事情了,那接下来就不行了,接下来呢,要把卡夫卡的数据给它存到哪里去啊,诶这辈啊就是这样了啊好了,咱们接着呢就往下看,那么下面呢,是我们的消费的这一块的数据的。
01:00
模型,首先第一个我们现在日志已经有了,那么有了日志之后,接下来呢,要把它采集过来,采集过来以后要存储到卡夫卡当中,然后呢,我们的卡夫卡呢,再想办法把它的数据放到我们的base当中,这就是我们的一个流转的过程啊,那么在整个过程当中啊,这一块我们已经有了呢,我们之前还做过类似的,所以我们现在呢,可以把这一块呢,我们准备一下啊,所以呢,我们这里来找一下,嗯呃,我记得咱们这边就好,恰恰有一个吧,叫to卡夫卡,咱们之前写过的对吗?那写过的话,咱们这呢就不用再写一遍了,咱们可以直接参考了,所以直接咱们打开。打开以后咱们来看看里面需要改变的一些地方,大家看我们之前恰恰呢,就是读取或叫监控一个文件吧,这个文件不过监控的是那个叫dialog,现在就不是了,现在应该是那个叫这不call啊,你连路径都是一样的,就这个文件不一样对吗?叫call diog啊,就这意思了,然后呢,接下来我们下面的是我们的S,这个S是我们卡夫卡的S,这个呢,我们之前是不是有啊,对不对,我们可以直接用,咱们还给大家看过源码对吗?他是通过那个卡夫卡的producer是不是放到了我们卡夫卡的那个topic里面,那所以我们这里是不是还应该准备那个topic呀?哎,把那个topic给他准备好,就这样,那么这个topic呢,我们给他变一变,咱们叫什么呢?叫CT啊,咱们叫CT啊,就是我们他变信项目当中的一个东西啊,咱们叫CT,别的咱们暂时不改了啊,然后呢,下面呢,是我们的memory啊,然后呢,是这些东西啊好了行了啊,这个呢,其实文件相对来说只需要改一个文件的名称,以及我们的这个top。
02:41
K的名称就可以了,别的暂时不用管它啊,好呃,接着呢,我们就往下来看,下面呢是这样的,它有个采集的思路,说了配置卡夫卡,启动主kper和卡夫卡集群,然后呢,创建卡夫卡的主题,现在我们有吗?没有,其实我们说了,就我跟大家说过,我们这里即使不创建其实也可以,对吗?还记得吗?我们说了你不创建也没事儿,他会怎么办?他会自动创建,还记得吗?
03:07
我们说过这个事了啊,就是弗鲁姆和那个卡夫卡在做集成的时候,如果这个主题并不存在,没关系,它会自动创建,但自动创建的话,它会有点麻烦,它就一个什么分区,一个什么副本啊,就这个东西,所以这种情况下可能不满足我们的要求,那那可能我们还是需要给他创建多个的,所以在这种情况下来我们这里来操作一下,把这个呢,该关的给它关掉啊,所以样我们接下来呢,把那个主题呢,给它创建出来啊,创建出来以后呢,然后呢去操作一下就可以了啊,所以我们这里呢,来我们写上它,然后呢,我们写上咱们叫卡夫卡啊,然后呢我们B,然后呢,我们这里正好呢,把卡夫卡的那个命令呢,我们再看一看,他里面有个什么东西啊,叫逃逃,那我们后面应该怎么写啊,我们逃后面是不是应该去连接我们的主keepper啊对不对,连接我们的主keepper,然后呢,一我们的二幺后面呢,是不是杠杠我们的。
04:07
对不对,创建的意思吧,然后呢,你创建什么东西啊,我创建我的topic,然后呢,我写个CT啊CT,那么你这个topic,你的分区,你的副本是什么呀?所以我这里还要我们写上叫partition啊,咱们叫partition啊,写错了吧,Part啊是不是这个啊,写个三啊,咱们三个分区,然后呢,我们这边呢,写上叫replication加个1FACTOR啊,咱们叫做一个因子啊副本因子,那么这里呢,给个二啊,总共是六个啊,然后呢,我这里呢,还有别的吗?没了吧,是不是,然后呢,我们这里呢,回车啊,回车以后如果创建成功的情况下,那么我们的CT就有了,然后呢,我们的呢,就可以采集数据往这个CT里面放,这就可以了啊,就是这样,所以我们这里呢,先把卡夫卡的那个topic咱们先创建出来啊好了,那这个已经创建完了以后,那我接下来我的flu也都准备好了,那其实还剩下什么了。
05:07
准备好了,你只要执行是不就行了,那然后呢,我的那个topic也有了,你该干嘛了,是不是该消费了,对不对,你该消费了吧,那所以我该怎么办,那我这里先不写程序,我就先看看我能不能消费吧,那所以我们怎么办,咱们这里是不是可以直接先通过控制台啊,所以我们这里写上咱们叫什么东西啊,看的我们的吧,我们要去消费一下,那消费的话,我们这该怎么写,是不是我们也可以写上我们的主keepper啊,然后呢,我们的LINUX1,然后呢,2181,然后后面呢。是不是写上我们的topic,你消费哪一个对不对,来我们写上咱们叫CT,然后后面呢。是不是可以有那个叫from beginning啊,但你不加速也没事,因为我们就执行一次吧,对不对,所以这个不加也没事啊,然后呢,我们这边我就回车,回车以后是不是我们这边应该等着他去消费了,哎,就是这样啊,所以那你等着消费的话,那我是不是该去去采集去,你采集以后我们这边就往那个什么这个topic里面放,对不对,那所以呢,我打开,打开以后我们该怎么办了。
06:16
这个时候我们是不是应该进到我们的里面去了,所以Mo我们的什么,然后呢,我们这里是什么B,然后呢,我们的NG,然后呢,我们的A对吧?哎,我们的A,然后这里应该是什么东西来的,是不是杠C呀,我们的抗吧,还有杠是我们的A1对吗?还有杠F,杠F是我们的OBT,我们的Mo,我们的data,还有一个我们那个啊是不是这个东西啊,哎,我现在呢,就去操作一下,那如果我们这边如果要是正确的情况下,那么我们回车,回车以后看看效果啊来。如果正确的情况下,什么应该会出现什么效果,是不是我的消费者就会一直消费数据啊,哎,所以我们打开这边你看怎么了,是不是这边就有数据出来了,哎,不就这个意思吗?所以我们只要生产数据在不断的生产,那么我们的这个消费的数据是不是也会不断的在消费啊,所以我们现在就用通过一种最简单的方式,用控制台的方式把数据给它采集到了啊,就是这样,所以。
我来说两句