00:00
好了同学们,那这个组keepper安装好了以后呢,那咱们接下来就可以来安装部署咱们的卡夫卡集群了啊,因为咱们这个爱LA需要用到卡夫卡,而我这个卡夫卡需要用到组黑,所以说我们是先装的组黑,后装的卡夫卡是这样的,那这个卡夫卡是吧,也比较简单,我们点开这个卡夫卡的文档,我们来看一下,哎,首先啊,卡夫卡咱们怎么部署啊,咱们是不是既然是集群,我每台服务器都需要安装一个卡夫卡的broke卡,哎,是这样的啊,那咱们这个时候是吧,我就可以解压一下你卡夫卡的安装包了,那咱们是吧,依旧是来到102上面c.software,咱们应该有一个六吧60卡夫卡,哎,然后我们来L一下,看到了这个卡夫卡的安装包,然后呢,那么解压一下啊,ZXVF是吧,卡夫卡,然后杠大C安装到咱们这个OBD model这个下边啊,然后呢,CD咱们这个OBD model,那这个时候我就看到了我的这个卡夫卡。那咱们这个时候是吧,可以给这个卡夫卡改个名字,咱们就叫卡夫卡啊。
01:04
那现在得到这个卡夫卡这个目录以后,咱们要进到这个卡夫卡的安装目录啊,在这个卡夫卡的安装目录底下是吧?首先咱们第一件事儿,我需要自己给它创建一个logs目录啊,咱们给他make d一个logs。然后logs有了以后,咱们还需要修改一下卡夫卡的配置文件,有一个卡菲目录,那咱们进到这个卡菲里边。然后呢,在这个里边咱们改什么呀?咱们需要改一下这个server.proper在这个配置文件里边是吧?它存储了这个卡夫卡集群的配置,但是咱们需要修改一下它啊,那我们需改什么东西啊?那我们先打开这个server proper,首先第一件事啊,咱们要给咱们这每台卡夫卡机群起一个不同的broke ID,那就比如说咱们102的broke ID是零,那我将来103的broke ID就得是一,那104就是二这个broke ID,注意它不能重复是unique是吧?哎,Unique,嗯,那咱们这个第一个零我暂时不用改,那我下边这个我要给它加个东西,加什么东西啊,咱们要给它加上一个删除topic这个功能啊,因为啊在这个卡卡上边是吧,它有一个参数,这个参数,注意这个参数我们可以点一个O啊,同学们啊,这个参数是咱们自己添加的。
02:22
这个参数它本身配置文件里面没有,如果你不加,那就将来你这个卡不卡没法正常的删除,删除topic啊,他数据它只是标记删除,如果你加了,诶它会真的给你删除,那咱们要把这个加一下好吧,那这个加完之后,那再往下咱们要修改一下这个卡夫卡运行日志,它存放的一个路径,那这个路径在哪啊,在这个log DR里边,哎,咱们往下找有一个log DR drs,那这个log Dis,咱们要给它指向哪个位置啊,注意了,它指向的是OPT modu卡夫卡上面这个data塔目录,它的这个日志是什么呀?是里边是卡夫卡集群存的这个topic的消息,它叫logs,其实就是咱们topic的数据。
03:14
有同学他把这个东西存到logs里边,那这样一来你的这个你的这个数据跟你卡夫卡运行的日志就放一起了,那咱们这一块是吧,做了一个分流,就是我的这个卡夫卡的数据,我存data塔datata,那我卡夫卡的运行日志,就比如说我报错了,我没报错啊,我存LOGS1定要区分开啊,注意啊,它这个地方虽然叫log drr,但是它存的是数据,它不是日志,OK啊,那因此大家把这个注意一下就好了,那这个注意好之后呢,那我们再往下找什么呀,找一下这个组keep的安装地址啊,就是组再往下我们是不是有一个组keepper的连接字符串啊,咱们要把这个组keepper这个连接字符串咱们给他拿过来。
04:02
注意了,这一块也有一个小坑啊,咱们现在啊,并没有把咱们卡夫卡的所有的原数据放在主keepper的根节点,而是在左keep的根节点下边又给他创建了个卡夫卡节点,那就说明啊,在这个卡夫卡这个节点下,它存储的才是咱们卡夫卡的所有的元数据呢,为什么要这么做呢?因为这么做让咱们那个组keepper的那个根节点看起来没有那么乱,你将来是吧,在那个主K本的客户端里边,你LS这个根节点,你发现你就看到一个卡不卡。啊,它就不是一堆啊,它是只有一个卡夫卡,那你那你要LS这个跟卡夫卡,你就看到关于卡夫卡的所有的元数据了,是这样的,那你一旦把这个都配好之后,那咱们就可以WQ保存了,保存一下咱们这个卡夫卡的配置文件,那这个保存好以后呢,我是不是还要修改一下我卡夫卡的这个环境变量啊,我要给我这个卡夫卡啊,给它设置一个卡夫卡home这个环境变量,大家还是尽可能的要设置一下好吧,那怎么修改啊,我要修度啊,我要修改一下我这个麦Inv.CH。
05:12
咱们在咱们这个102上是吧,修度VM,咱们这个慢音V点显,然后你点个O,哎,把咱们这个卡夫卡的环境变量我也给它设置一下,那设置好之后呢,我WQ保存,那然后那接下来你要分发两个东西,首先把咱们这个卡夫卡给他分发一下是吧,XNC卡夫卡。给这个103104分发一份。然后分发完以后,切记赶紧来到103这边改一下我们CD,咱们这个OBD Mo是吧,卡夫卡改什么东西啊,咱们C这个config目录里边,然后在这个里边,咱们要改一下咱们那个serve purpose,注意了,这个broker ID就不能是零了,咱们给它改个一就可以好吧,然后呢,WQ保存。那咱们这个104上面这个也要改一下,咱们CD,咱们这个op Mo,卡夫卡conig有一个serve purpose,然后把这个broker ID咱们给它改成二啊,注意了啊,同学们这三台broke ID它一定不能一样,要不然卡夫卡起不来,一旦把这个都改好之后,那咱们就可以来到102上,把你刚才写的那个环境变量给它分发一下,修度XSYNC。
06:23
哎,然后呢,有一个什么呀,有一个ETC per.D有一个慢音V,咱们把这个环境变量咱们也给它分发一份,分发完事以后,咱们要给它S一下发送键,输入到所有会话,咱们给它来一个source source,咱们的ec下边是不是有一个profile啊,把这个文件咱们给他三个都S一下,一旦你S完事了,那就说明咱们这个卡夫卡的环境变量它也就生效了,那一旦你的卡夫卡生效之后呢,你在这个地方是吧,你敲这么一个卡夫卡,你就能够看到卡夫卡所有的命令了。那我们接下来是不是要启动一下卡夫卡,那我们这个卡夫卡启动大家应该知道是吧,它的启动是比较复杂的,你得利用这么一个脚本,还得给它加上一个杠杠DEMO后台启动,然后呢,还要跟上这么一个卡夫卡的配置文件。
07:13
那咱们不想这么麻烦怎么办?不想这么麻烦,你得写这么一个群体脚本。咱们在这个位置写了一个卡夫点SSH啊在这个里边是吧,咱们给他这个写了两个脚本啊,就写了一个脚本,如果这这个脚本后边你传的是start,那我就要进到这三台机器里,我启动我的卡夫卡,那如果你传stop,那我就进到这三机器里边,我停止我的卡夫卡,那因此这个脚本咱们要给他复制一下啊。复制,然后呢,来到咱们这个102的B目录下,哎,就加目录的B目录下,咱们给他VM一个卡夫点SH,然后你点一个I,把咱们这个卡夫卡的这个脚本咱们给它拿过来,然后WQ保存一下,保存完事之后呢,给它加上一个执行权限,甚至梦的加X卡副点SH,诶,然后我就可以利用我这个卡副点SH,咱们启动咱们的卡普卡,注意了,同学们,你启动卡发之前,一定要保证你的组keepper是正常启动的,我们只有掀起了组keepper,我们才可以启动咱们的卡不卡。
08:18
那我就可以是吧,卡夫点SH,咱们传一个start,看看它能否把咱们卡夫卡给它起起来,起完之后,哎,我JP我看一眼,看一下我是否能够看到三个卡夫卡的后台进程。卡夫卡的进程没问题是吧,一旦你的卡夫卡起来了,你可以去那个组keepper上客户端看一下,咱们来到咱们这个OPT modu是吧,咱们有有有一个组keep在这个里边,我是不是我有一个B目录,然后B目录下边有个什么呀,咱们有一个ZK,有一个z k c Li。点SH,那你进来之后,你可以LS来看一下咱们这个根目录是吧,你发现在咱们这个左K板的根目录下,根节点下就有一个卡法节点啊,这这个是上咱们自己配的,那这个时候是吧?如果你想看一看这个卡夫卡都有什么元数据,你可以看一下这个卡夫卡,你会发现在卡夫卡这个节点下有这么一堆啊,这么一堆节点是记录咱们卡夫卡的语言数据。
09:18
啊,把这个能够看明白,那就说明咱们这个卡夫卡是正常启动了,好吧,啊。那卡夫卡正常启动以后,咱们就可以简单测试一下啊,就卡夫卡的命令和操作,我们简单测试一下卡夫卡,就比如说诶,你可以利用卡夫卡topic s sh这么一个脚本来查看一下我当前卡夫卡有没有什么topic是吧,那咱们来到这个位置下,咱们这么一查看,你会发现咱们当前一个topic都没有,那没有我可以,我也可以给他新建一个是吧,我可以给他创建一个topic,咱们利用这么一个命令给他创建一个什么什么topic,三个副本,一个分区,哎,并且名字叫做first这么一个topic,咱们给它复制一下,复制一下,然后咱们粘贴。
10:04
那一旦你这个first创建好了,你接下来是吧,你再来查看这个卡夫卡的这么一个topic,它就有一个first,那咱们既然有了first这么一个topic,我就可以向向这个first这个topic干嘛呀,给他发送消息了,那就比如说咱们利用这个卡夫卡的生产者脚本是吧?啊,这是卡夫卡的producer,那下边有一个卡卡的consumer,那咱们先给他生产,然后呢,再给他接收就可以了吗?我们可以试着玩一下,在咱们这个102上,咱们起一个卡夫卡的生产者,我给他发一个12A345,那我在我的103上,我就可以利用这个卡夫卡的消费者消费一下,这个first是from beginning,从头开始消费,你看看你能否消费到这个12345,只要能够消费到,那就说明咱们这个卡夫卡是能够正常发送跟消费的啊,就比如说是吧,这个时候咱们再给他。
11:03
在这个地方干嘛呀,再给他发个六,你发现在这个位置,我们就实时的消费到这个六了,那做到这一步,那就说明啊,说明什么呀,说明咱们这个卡夫卡是没有什么问题的,那没有什么问题,我就给它关掉了,好吧,就大家安装好这个卡法之后,你一定要测试一下,看一下你这个卡夫卡能否正常使用好吧,哎。那我这个卡夫卡的安装和部署就给大家讲到这里啊。
我来说两句