00:00
好,嗯,上午呢,我们是将这个卡夫卡呀,它具体是干什么事的,以及它的一个基本的一个架构说了一下吧,说一下啊,这边我要提个点就是。呃,之前上午分分析这个消息队列的时候,是不是说了消息队列有点对点模式跟发布订阅模式啊,对卡夫卡它也是一种消息队列对吧,他不是说这两种模式都支持它是一种。是让消费者主动获取数据的啊,获取数据的,到时候你通过那个API能干什么API呢?你是拿着那个consumer,用一个consumer的一个对象,然后去干什么呢?调查的一个方法来获取数据吧,它调的方法是。不拉不是那边是什么,那边推啊,不是说推的方式,二拉的模式,二拉的模式是这种啊,稍微注意一下,那就不要混淆了,因为我们上午说的是消息队列,它有两个模式,但是卡夫卡呢,它是其中的一种消息对列是吧,所以呢,它是那种点对点的模式啊,它是其中一种,它是点对点模式,OK,然后我们现在来讲一下它的一个。
01:07
集群的一个搭建,集群搭建,那整体的一个规划是这样子的啊,规划是这样的,呃,这是我们三个节点对吧。然后我们说了卡卡它是依赖于。K的,所以呢,ZK要有,然后旁管也是集群,那我们正好三台机器,一个一个一个,然后下载地址就是阿巴奇的官网去下载就OK了,下载就OK了,这边已经给大家提供好了包子对吧。呃,我应该这个包是没导进来的,最新那个包我导一下c do,然后把我们那个数据。桌面卡不卡,然后资料里边这个。进来。然后CD到这个OBDSO底下有两个吧,我们现在要检查的是这个吧,对吧,点二的这个,那它杠ZX。
02:05
卡不卡?0.2。大OBD model等一下CD model。呃,还是习惯性的,我改个名字啊。啊,对吧,那正常呢,你像这种框架的话,你去配一个环境变量也可以吧,啊,你配一个环境变量就调命令的时候能方便一点啊,能方便一点那就不配了,呃,CD到卡普卡里边来看一下,它的一个目录结构比较简单,对吧,它的目录结构应该是最简单的。B、可视进文件配置文件。Li斯所依赖的架包DOS文档啊,就基本的思考就就够了啊,然后我们接下来呢,先做一个这个式make电压。嗯,都知道在干什么了,哎,Log斯,它这个log日啊,这个文件夹,注意啊,他虽然叫了斯,就是说你等会在配置文件里面,你也看到他说的是配的是log文件的一个日志目录,但是呢,它实际的一个数据啊,也是放在这的。
03:09
它实际数据就是我们之前不是说消息队列可以缓存数据嘛,对吧?哎,缓存数据它也是放在这的,像那个卡夫卡它缓存的一个数据啊,它是要落盘的。落盘的啊,它是放在磁盘存储的啊,是这样的,OK,然后我们进到那个里面,或者说直接LL吧。看一下他有这些个文件。那之前提到他是不是有什么消费者,生产者对吧,他都有自己的一个什么。配置文件啊,配置文件,那我们现在要。搭建的是卡卡集群,我们现在配这个就够了。So,点化就是它这个服务端吧,我们之前提过,无论是那个consumer也好,生产者也好,相对于卡卡来说,它都是什么。客户端吧,哎,卡夫卡集群才是我们的服务端,所以说呢,我们要改变的一个配置啊,就是这个sopla啊sopla。
04:09
连一下幺零,然后那个卡点好,首先看到这个。他说是这个博克的一个ID,对吧,我们之前提过卡卡一个机群是不是博克啊,对吧,它这个,然后你看它后面这句话。他这个东西啊,必须是被设置成一个。唯一的一个值啊,哎在一个什么,在同一个,对于每一个博来说,那这种博肯定是在一个集群当中吧,对吧?哎,在集群当中你不容克要V1啊,要为一,那这个就是零啊012,我们到时候规划注意这个地方。给他打开,给他打开这个东西呢,他说什么。
05:01
是否可以?删除topic。对吧,是否删除它表,如果你没有打开它默认的是force,你看见没默认是false吧,也就删不掉。就是说你topic不能删,那这不合理吧,Topic是我们自己建的一个一个的主题是存放不同数据的一个地方吗?说不能删不行啊,不能删不行,那我们把这个打开,这个打开OK,然后还要改的地方。这个要动一下吧,对吧,探几下不安全吧。那我们拿一下。啊,就是刚才我们创建的这个log斯的一个文件夹的一个文件夹库存啊。然后接着往下走,稍微注意一下这块。嗯,再往下走,这两个东西。这两个东西。呃,一个是它在这个卡卡里面存储的一个时间,一个是大小。
06:01
一个是大小,一个是时间,就是说卡普卡这个东西啊,虽然能存数据对吧,但是它有一定的容量或者时间限制的,168个小时是多长时间七天对吧?哎,之前这个数字应该不陌生,像那个认证聚集那一块,默认的是不是也是七天啊,对吧。啊七天,然后这个是一个G是吗?这个大小啊,因为它是自节数嘛,对吧,节数一个G,也就是说它超过一个G,或者说超过七天的数据啊,它就要删掉了。啊,它叫删掉了是这样的啊。然后我们要改的是这个地方。这什么?如k.connect那改成我们自己的ZK集群吧,啊逗1028181,你看它的一个格式是逗号分割吧,啊多103冒号,2181MODEL号。四好,放总OK,改完这些东西就够了啊,再来回头看一下改了哪些,首先第一个这个地方你要注意的,但是我们没动对吧,但是你等会分发的时候,你把这个什么卡不卡,从102分发到103104,是不是要去103104把这个值改一下呀,对吧,因为他说了要为一啊要为1OK,第二个我们是不是把这个东西打开啊。
07:18
哎,是否能删除topic狗啊,是否能删除狗,如果是force,它不能删的吧,它其实你执行删除操作也没问题。他就显得是他他会把一个日志说是被什么标记删除,但是你在创建,假如说你有一个topic表叫。0508,你把0508删了,他会以文日志告诉你0508被标记删除了,但是你在创建这个0508的时候,他报错,他说0508这个topic已经存在了,是这个意思啊,我们不希望他这样,那我们想删的时候就就应该把它删掉吧,啊,就应该把它删掉,那你要把这个水性打开啊,这第二个地方要动的,第三个是那个什么。Logs啊,LOG4啊,什么存储log文件的一个地方吧,啊,其实刚才提了这个文目录呢,它虽然叫log的添加,但是它底下会存实际的数据,就是我们之前所讲的卡夫卡存的数据呢,都是在这里边啊,都在这里边,OK,那最后动的一个地方是哪?
08:19
如K的一个集群对吧,哎,配成我们自己的,配成我们自己的,OK ctrl s保存一下一下。然后接下来。CD点点出去XXYNC卡不卡啊对吧?哎,分发一下。发一下,然后把这个把这个关了,把103跟104洗下。CD到model,然后那个卡卡。嗯,VI con底下有个缩点对吧?SOK,把这个改成一。保存退出,然后104也也得动一下吧c do model。
09:05
卡卡,然后会开一个什么,呃,Config底下有一个点。改成2012啊,三个节点012,你只要唯一是一个int对吧,他说了要int类型的吧,你不要放一个string这啊。我要换一个什么字符串,OK,现卡不卡一边好,接下来我们看一下这个,嗯,LL一下这个并目录。命令。我们核心要用的几个跟大家说一下。第一个。这是一组,这干什么?启动对吧,启动服务跟关闭服务的。啊,这两个东西启动卡不卡跟关闭卡不卡,这两个我们要用的还要用到啊。然后你看一下他,你找一下有没有什么卡夫卡杠so-start。没有,他只能单间天起,就跟那个K一样啊,S是不是也要一台一台起啊,这个东西要自己写脚本了,自己写脚本了啊,这个写脚本到时候我跟大家说一下,然后第二个。
10:12
我们要关注的是这个命令。Topics就是你的topic的创建删除,或者你你想查看一下某一个topic的一个详细信息,哎等等的,你都要用这个命令。哎,所有关于topic的一个操作都要用这个命令,然后我们常用的还有两个在这个控制台。这两个东西就是什么。控制台的消费者,控制台的一个生产者啊,测试的时候要用到的,测试的时候要用到的,在生产环境当中。没有用。啊就不用了,这就测试环境用的,因为想想看生产环境当中,你弄一个什么控制台的,消费者打印到控制台,这有对你有什么意义吗。
11:00
你肯定说数据传输过来了,你要么存储,要不然你跟着什么一个处理框架去分析吧,你说打印到控制台那干什么呀,一点用都没有,对不对啊,所以说这两个东西呢,是测试的时候用的比较多的,核心呢,我们要用的就是这几个命令,好然后我们来操作一下。首先我们。要启动卡普卡了吧,启动卡普卡之前先骑。CK啊,因为它是依赖于CK的,那我们把CK取一下。然后看一下。嗯,当你看到ZK这个进程的时候,不代表它起来了吧。能懂这个意思吧,就说你就算三个都看到了,你最好要确认一下吧。BZKSSH。你看到follow或者leader的时候才能够确定,如cable能正常工作吧,那这要注意啊,不是说你看到这个进程在就一定是起来了,它可能没起来啊,可能没起来是这样的,OK,接下来启动我们卡不卡B之前说的卡夫卡一个启动命令是卡夫卡so start.sh。
12:13
然后后面要跟上它的一个参数,就是con点,刚才我们配置的对吧?哎,你要把这个参数跟上,参数跟上读一下。OK,然后这边也写一下B卡啊。大点,然后点,然后把这个摘下。走,然后104走一下,104走下,好,102这边已经开开起来了,看一下他说什么。SO0102那个不ID是零对吧?哎,不ID是零,所以呢,它叫so林搜林study study就开启了这块你看啊。它就是一个阻塞进程。
13:00
就是一个阻塞进程就是这样的,那如果说你要不想让他一直在前台挂着怎么办?有一个加一个语符号。加一个语符号把它放到后台,但是你加语符号把它放到后台,这种方式,因为这个地方它是会打印日志的,就是你正常的一个操作,它打印志,就算你把这个后台释放了,他同样的也会把日志打印在这个前台。啊,现在就很麻烦,就你们那个脚本写出来也很麻烦啊,也很麻烦啊,等会会讲那个关闭的时候再讲一下这个怎么更好的将这个。任务挂到后台啊,挂到后台,因为接下来我们就要操作一下这个卡卡机群了,对吧,先操作到后面,我们再给它扩展一个那个启动命令,启动命令,它还有另外的一个启动命令,就是说他不会说在前台占用一个窗口啊,不会这样对。
我来说两句