00:00
好,接下来呢,我们来看一下第七章卡夫卡的一个模式,那这个模式呢,是非常非常重要的哈,它是在卡法2.8.0以后诞生的一个新特性,那这个新特性是什么含义呢?比如说终于啊,把这个重量级框架主K波给干掉,比如说卡普卡呢,再也可以不需要主K。那这个大家都知道哈,如果说卡不卡跟主K班进行配合的话,那么他们两个之间需要大量的一个网络通讯,那这样呢,必然会影响一定的效率,这是一方面,另一方面大家想你这个卡不卡框架升级了,如果说需要主K波进行配套升级。你说要求主K班团队说你给我按照我这个卡普卡的要求升级一下,你觉得能可能吗?哎,这种需求呢,有可能达成不了啊呃,所以说毕竟是两个团队在维护两个框架,那这样呢,这个不便于后续的一个维护和升级哈,好,基于这种需求呢,哎,那这个卡卡呢,研究说能不能把主keepper干掉,那在2.8.0以后,终于这个梦想实现了。
01:06
那我们来看一下哈,呃,这是以前的卡普卡的一个架构,那大家能不能看清啊,上面这块呢,是对应的主K包,这下面是卡法集群,卡布集群当中还有对应的叫controller,还记得这controller吗?由他来决定谁是分区的一个leader啊好。那再看右侧这块,右侧呢,这是我们期望的也是2.8.0以后,哎,它真正的一个架构,那这个架构呢,哎里面呢,就没有对应的主keep了,只剩下对应的CTRL的节点,以及呢broke节点。那在controller接待里面,你会发现,诶,是不是还有不一样的,哎,相当于类似于这种controller leader啊,相关的一个角色啊。行,那这个呢,是基本架构的一个对比啊,那我预测啊,未来呢,企业里面一定会大量的使用这种C模式,只不过当前呢,呃,这个C模式呢,还不是那么特别成熟,需要点时间去迭代,诶当前呢属于这个测试版本,那后续再经过5G半年啊左右的时间,那么这个C模式呢,会在企业里面大量的一个流行,而且它也是必然的一个趋势啊,大家呢重点去关注一下啊,那么咱们呢,可以提前了解一下模式它是怎么安装以及使用的。
02:15
那这里面稍微交代一下,是不是有了这个括号模式之后,它就不兼容对应的主K边呢?不是这样的哈,咱们前面讲3.0.0的时候,是不是也是可以配合主K班进行使用啊,哎,那同时这个3.0.0呢,还可以单独的使用这个模式。比如说这一套版本,它既支持跟主配配合,也支持跟他配合,那看你怎么选了不同的配置,那你就可以选择不同的模式啊,呃,目前呢,它是都支持的,呃,再升级几个版本,比如说升级到4.0的时候,那还支不支持主keep那就不一定了啊。行,那下面我们来看一下具体的安装步骤。这个首先呢,我们解压一个可把加包啊,那我们新来一份啊。来到卡卡集群,那我把这个集群呢先关掉。
03:02
以前都关掉了。好,那现在呢,卡卡机群已经关闭掉了啊,CK也关掉。都关闭掉以后,那下面呢,哎,我们来亲解压一份对应的卡卡。在哪呢?在上外在这里面,这里面有历史的这个下包是它,哎再加一份他杠JSVF卡不卡。好啊,杠大c BT model走。再来一份。到这儿到这儿之后啊,现在呢,是这个名字,我给他改个名字啊木卡不卡。改成一个什么呢。好不好兔?那改完之后,我们进入到这个卡卡兔里面去,别进错包了啊,一定要进到这里面。
04:02
来进到这里面之后,我们进入到这个config目录。进去进去之后啊,以前我们配置的是不是这个server purpose,这次呢,我们看这这是不是一个craft,哎,你得进入到这个craft。进来进来之后,那这里面有对应的server purposeppies啊,还有broker puppies啊等等配置,那我们就关注这个啊,Server purposeies。嗯,进来,进来之后往下走。首先第一个配置参数看一下,这里面呢,有broker和controller啥意思啊。哎,每一个节点呢,你可以配置它为不同的角色,你看一下我们刚才那张图。这也是我们期望的啊,当前的一个架构,你看这里面啊,有博节点,也有对应的controller节点。你看,那我定义当前服务器102,我可以让它既是CTRL的节点,也可以是brokeer节点,那当然了也可以把它分开啊,那生产环境当中啊,像这个CTRL的节点不用配置太多,它主要负责我们的选举的,比如说三台,哎,数据够啊啊,那这个博节点呢,还是用来这个存储数据的,那这里面呢,我们可以多配置啊,一些台数啊这样一个情况,当然了,如果你服务器台数比较少,你说海哥我就放在一起行不行,我就三台机器,那我既让他承担博节点,也承担CTR的节点行不行?哎,肯定也可以,没问题啊。
05:23
那下面呢,还有一个对应的叫node ID这个参数,那node ID啊,这个类似于我们那个broke ID,哎,全局唯一,必须全局唯一,哎,但是呢,跟博ID呢还有点区别啊,这个note ID呢,是负责选举用的啊,那这里面呢,啊改一下啊,给它改成全局唯一,比如说这个我是二,那如果说我102配置的是二,那么103肯定就三,那104呢,哎,就对应的是四啊这个一定要注意啊,行,那下面往下走。下面呢,这个呢是用来选举的,那就把它改成二啊好,那后面呢,这个是。修改一下主机名称,HIOOP102。
06:02
逗号啊,然后三再加一个爱的符。HIOOP104。9093,哎,断母号一定要注意,然后来一个四艾特。对应的HADOOP104。这个是103啊。这是103。按在这呢,是9093行,一定要认真检查啊,检查好之后,那下面往下看啊,继续往下走。下面有这个参数啊,叫advice啊,Listener相当于啊是对外暴露了一个啊网络端口啊,方便外部呢可以访问我对应的集群,那这块呢,给它改一下,默认呢,它是logo host,你给它改成当前的主机名称。Hiop 102,好。那再往下。往下找谁呢?哎,找这个log d4。好,默认是time目录,那这个目录呢,肯定是没法接受的,那比如说我们放到OPT。
07:01
Model下面呢?卡不卡to啊,一定要加一个to啊,然后呢,对是这样吗?就OK了啊行,那这个配置完毕之后,我们开始对它进行一个分发。到这儿把这个关掉。SYC卡不卡啊,一定要加个to啊走。分发完毕之后,第一件事是干什么啊,一定要改这个配置啊。进入到这里面。进到这个C模式下。VM。进来进来之后往下找找谁呀,是不是这个node ID必须第一时间改掉,给它改成对应的叫三。下面呢,还有一个地址,哎,对外暴露的地址,那你这个是当前主机名称是对应的叫103,把它改掉,其他的下面呢就不用改了啊。
08:00
啊,那再来到这个幺零市场。来这里面啊,然后vm server part这个NOEID啊,是最容易出错的地方,大家呢,一定要注意啊。第一时间修改它,那这呢是四。啊,改完之后,那下面呢,我们就可以启动这个集群了,那这个启动集群啊,跟之前的有点区别,不能直接启动,差在哪呢?还记得我们之前学嗨的时候启动集群,你说第一次启动集群的时候,是不是要经过一次初始化呀?哎,那这个卡不卡呢,也需要进行一次初始化,那来看一下啊,对应的笔记啊,这是跟之前不一样的地方啊,地方呢这块。它首先呀,要初始化,初始化的时候要调用这脚本叫stories啊,点ch hi,然后呢,Random u ID,那这里面呢,主要是为了生成一个随机数,然后通过这个随机数,哎,我们再进行一个初始化,你看这里面我得到这个随机数之后,下面呢,我们调用这个还是一个脚本,然后form,然后杠T。
09:16
加上对应的这个实习处之后杠C,然后o BT model,那这个呢,是存储在这个server purpose啊这样一关联就可以了。那下面呢,哎,我们来实验一下哈,生成一个UUID。走。生成完毕之后,我们可以用这个UID进行一个执行,那这里面比如说拿过来啊。这个UID啊,是我自己生成的啊,当然了,你说海哥我用你这个行不行,可以啊,你用我这个没有问题,那当然了,你也可以用,你刚生成这个啊,都可以啊,那你比如说我换换一个吧,换成你那个。啊,换一个刚生成的。
10:01
拿过来。暂停啊,这样呢执行。好,那现在呢,就已经格式化完毕了,那格式化完毕之后啊,我拿着这个之后我干嘛,哎,我也得去其他节点再次执行。复制来到103。执行。好,执行完毕,来到104。执行。好,那现在整个集群就已经初始化完毕了,那下面呢,我们就可以按照正常的启动流程进行一个启动了,比如说B好不好,Server start杠。哎,注意了哈,看这下面,那这回你还能说server purpose吗?不等了啊,因为我们已经修改过配置,是不是改的是它呀,哎,那所以说这里面呢,就得用这个配置哈,哎,这样去一个启动。你看现在这个卡法就已经启动了,那接下来来到幺龙三上。
11:03
并卡卡server start杠同学们。哎,然后呢。看。Server走。是吧,这也OK,来到104啊,继续上一个步骤,Server start杠。Con corrupt。好,走。现在呢,整个集群就已经启动完毕了,那启动完毕之后,那下面我们干什么事儿呢?哎,下面呢,我们就要进行一个基础的测试,比如说我们创建一个topic主题,然后呢,创建生产者,创建消费者,对它进行一个测试啊,那我们创建一个topic。变卡topic杠杠不?WAP12V serve high do1029092,然后呢,下面呢,我们创建一个topic杠杠。杠杠。Topic first。
12:00
然后呢,杠杠PRT。Part。好三,然后杠杠R1:2。好,副本数呢三个走。那这样呢,我们就创建成功了一个主题啊,First,那我们查看一下有没有啊。好,那这个for主题呢,我们就得到了。那下面呢,我们来创建一个生产者向for的主题里面发送数据,我们再创建一个消费者消费for主题,好吧,B卡不卡,CTRL。Producer,尴尬。Server hiop 1029092,我要向这个first的主题里面发送数据杠杠。Topic first,哎,下面没发。啊。那我们再来到103上创建一个消费者啊B。
13:02
很臭。看小尴尬,What?Server hide1029092杠杠。First,哎,我要消费对应的这个主题的数据走好,那下面呢,我从幺零市场开始发送数据。那你看这边呢,就能够收到数据。OK,那基本的测试呢就OK了,整个集群我们就搭建完毕了哈,那下面还差一个什么事呢?哎,我们需要再写一个脚本,那这个脚本呢,哎,跟我们以前的这个类似,只是哪一哪一个地方变了呢?对这个路径数变了。是吧,啊,你看这个路径。爱路径呢是不太一样了,现在呢是卡普塔二啊卡法二这要改一下啊,那这个呢,我就不写了啊,我直接拿过来。这个呢,你可以仿照之前写过的这个启动停脚本好吧。
14:00
我们来到102。来到这里面啊,然后呢,VMKF这个是two.sh进来。粘贴。然后呢,穿着帽子。那这样呢,就改完了,改完之后我们就用一下这个脚本啊,进行一个启动和停止啊,那我先把这个消费者和生产者关掉。关掉之后用一下k f two。Stop。他需要点时间啊,也是一样,它的停止过程非常非常缓慢啊。关掉一个了。那这样呢,这个整个这个卡cross模式啊,哎,我们就学习完毕了哈。
我来说两句