00:00
好,萨尼克,我们把整个卡卡集群已经搭建完毕了,而且呢也写好了对应的启动停脚本,那接下来呢,我们就对这个卡普卡呀,进行命令行相关的操作。好,那我们打开PPT。大家思考一问题哈,我们在讲卡法卡基础架构的时候,把卡卡切割成对应的一块一块的,哎,包括呢,卡法的生产者,消费者以及卡卡集群。那好,那如果你是卡卡的设计者,你想对每一个模块进行相关操作的时候,那你应该怎么去写对应的脚本呢?是吧,哎,其实啊,就是针对每一个模块,我们有对应的脚本进行相关操作,那比如说生产者这块,诶我们就有生产者对应的操作脚本,好,那你针对整个集群,我们就有针对整个集群的叫卡普卡topic斯相关的操作。那对应的消费者呢,那有消费者,哎,对应的脚本。那这样管理起来啊,就非常轻松和容易,那接下来的事情我们就分别来介绍一下这三个脚本的一些用法,那我们从哪个开始呢?哎,我们先学的就是TOPIC4。
01:12
那下面我们就来用一下。然后这里面变卡不卡topic,那这个脚本怎么用呢?哎,我们先来回一下。回车一下之后你会发现啊,这里面给你了大量的一些提示参数,那怎么看呢。大家思考一下啊,我现在呢,是操作卡不卡集群当中所有的主题。那你是不是首先得连接上这个卡法集群呢?你想对这个卡法进行操作,那你得连上它吧,那连上它是哪一个参数呢?看下这块。哎,看他把server to connect,你说连接上卡卡服务端,也就是博客端。那么这里面呢,就是杠杠boot server,那这里面你可以写多个主机名称。啊,一会我们操作一下啊好,那你连上卡卡之后,那接下来我是不是要针对topic进行操作呀,那好,那你看下面找一下。
02:08
找谁呢?哎,找那个。你看我要操作topic,那我就杠杠topic,那指定这个topic的名称。那不就对这个topic进行操作了吗。那我对这个topic进行什么操作呢?哎,通常情况下呢,是正三改茶,那好,那争是谁呢,看这。争呢,就是create,创建一个新的topic。好,那删除呢,Delete删除,我与他那改呢,改往上找。找这位。叫alert。哎,它呢是修改某一个主题定参数,通常修改的就是哎,分区数啊分区。行,那查呢,查询呀,查询是这个。先看这个杠杠历史,他能帮你查看整个集群当中有多少个可以看到的top主题。
03:01
那这个有点粗略说,我想查看一下这个topic里面的详情信息。那怎么办呢?哎,那不用杠离子了,用谁呢这个。叫list details,比如说查看某一个topic的详情信息用这个,粗略的查用这个。好吧,哎,就是这些。那行,那下面还有什么呢?还有对应的叫指定分区,于是你创建一个topic的时候,你得告诉我这topic有多少分区,那这里面有杠杠PART4。那如果你想指定副本来看这个参数。这参数呢,就是指定啊,我这个呃,设置多少个副本。啊,那有了这些参数,那其实呢,在我们这个笔记当中,给大家已经把核心的参数都已经列出来了,就这些。这个呢,就是连接上整个卡夫卡集群,连接上之后。对某一个topic进行操作,那就杠杠topic被topic进行增删改查,哎查的话是有两个。
04:05
那这是这么五个命令。好,那可以设置指定分区,指定副本,然后呢,对某一个配置进行更新升级,那杠杠。就完事,好,那我把这个图呢拎出来。哎,大家以后开发的时候也是啊,给它定出来之后,那后面呢,以备待用,那接下来我们就用一下这个脚本好吧,那这样我们先创建一呃,先查看一下吧,看看当前机型上有几个topic。嗯,连接上机群杠杠不。是吧?SERVEROP102。9092,这样呢,我们就能连接上整个基金当中的102这个节点。那只要能连接上102的节点,那其实103上的数据,104上的数据都能够查看得到。那万一幺零二挂了呢,那102挂了,那就连接不上,那如果想提高它可靠性的话,你可以加个逗号103,然后9092。
05:06
这就可以了。啊,是这样一个相关操作哈,那这个正常情况在企业里面通翅采用这种方式啊,万一一个挂掉,那一个仍然能够工作,但是由于我们这个,呃,在学习阶段啊,每次都打两个,那这样呢有点浪费时间啊,那这个呢,我就把它删掉,就用一个好吧,啊记住哈,在测试环境我们写一个,如果生产环境我们写两个啊,也没有必要说我这有五台服务器,我就把五台服务器全给写上,那没有必要啊,留两两到三个啊就可以了啊。行,那这个那下面呢,我们是,呃,查看集群有多少个topic,那直接杠杠历史就可以了,走。哎,发现这里面没有任何一个topic是这样吧,那下面我们就创建一个。那创建的话,你就得指定说topic是谁了。那他比我比如说创建第一个叫first,那我直接就创建行不行呢,你回收。你会发现啊,这个不对,哎,它提示你还需要额外的参数,原因在哪呢,看好。
06:05
比如说现在我们是点击这个topic,那你没有点这个创建呢,是吧,哎,得创建主题,好,那来一个创建。那我再来这回行了吧。你发现还是不行,那又差在哪了呢?再往下看,你想你创建完这个topic主题之后。如果你没有指定分区,那它在底层它怎么存呢?他哪知道我接下来数据要往哪一个分区里面去存储呢?哎,那他就会懵了,所以说必须得指定分区,指定对应的副本好。那我们就指定一下呗,杠杠。第二题。Partan,那我们创建一个分区。饭店三个副本啊。Filter啊,3OK,走。你看现在啊,就已经告诉你创建成功了,好,那我们查看一下有没有对应的这个。
07:06
哎,整个基金当中就存在了一个first这个主题,好,那接下来呢,创建搞定,下面来用一个谁呢?哎,用一个查看。这块也就是说刚才啊是粗略的这个查看,说整个基金当中有对应的这个主题,那我想查看这个主题的详情信息,怎么办呢。变了啊,变成呢。First,好。杠杠d describe轴。哎,我详细的查看一下当前创建的这个first主题叫什么信息,让大家看一看啊,看能不能看懂,说呢我这个topic啊是first,然后呢有一个分区。三个副本是这样创建的吧,哎,没毛病,再往后找,嗯,那这样给大家看一下啊,它底层存储呢,是默认是一个G,大家有没有同学之前担心过哈,说海哥你有100T的数据,即使分三个分区,那我这里面也要分33T啊,那我这个一台服务器存起来这个压力也大啊,在存储在一个文件当中,那我读取33T的数据,那不很慢吗?啊,其实你想多了啊,其实在底层呢,他把33T的数据还会。
08:15
以一记一记的块再进行切割啊,这是后话。行,那往下走啊,那下面呢,我们这一次topic first,那分区数呢,哎,我指定的分区就一个吧,那这个分区就是从零开始,012这样啊来排这是分区,那下面这个LEADER2和这个副本201,这啥意思呢。是这样的哈,我们设计的是不是三个副本。对吧,这写什么?三个副本,那三个副本分别存储在102 103104,那102103104对应的博不就是012吗。对吧,那好,那谁是这个副本当中的leader呢?在这个BROKE2,比如说104上这个节点,它是leader,那后续生产者和消费者,哎,就针对这个节点进行读写三份操作就可以了啊这是怎么查看。
09:05
那行,那这个呢是查看成功,那下面呢,我干嘛呢,修改一下我这个分区啊,目前是一,那我先给它修改为三。那修改怎么修改呢?那马上变了。变成al t,修改杠杠点r t part3,四,我改成三,那记住这个分区数只能增加不能减少,比如说你原来啊是一个分区。哎,我修改为三个分区,这是可以的。再是反过来,如果你三个分区,我想给他变成一个分区,那不行,因为你下面你想啊,下边消费者已经消费到这儿了,另一个消费者也消费这个了,那你突然间这个合并了,那他们之间就不好找,我到底应该去消费哪个分区了。所以这个地方呢,一定要注意,那我们试一下啊。你看创建完成,创建完成我们验证一下是不是。你看现在就已经变成对应的三个分区了,012,你上面是零是吧,现在是012。
10:06
那对应的每个这个leader也不一样了。对,那我们说海哥说,那我就想减少一下,你看一看行不行,我现在呢,改成一。你发现是不是不行了,报错了,哎,记住分区只能增加不能减少。那有同学说海哥这个我我干嘛呢,我修改副本行不行,我想修改这个副本数,比如说这个filter那试一下。我改成紧的,我改成二看行不行。发现是不行啊,记住啊,这里面呢,不能通过命令行的方式去修改对应的副本。那后续啊,我们有通过其他手段帮我们去修改对应的这个副本啊,这个知道啊。
我来说两句