00:00
啊,接下来呢,我们复习一下昨天讲的内容,那昨天讲啥了,每天你学完之后要过一遍电影。那怎么过呢?那回忆呗,从第一章开始,包括以后你们呃,学其他知识点的时候也是一样的啊。啥意思呢?就问问自己会啥?从第一章开始呗,第一章你会啥呀?第一章什么概述对吧?概述当中第一个内容就是卡不卡的定义,那定义呢又分两种,第一个叫传统的。定义,那传统定义怎么定义的?哎,叫分布式的发布订阅的消息队列是这样吗?啊,首先第一个词呢,叫分布式。第二呢叫发布订阅,第三个词呢叫消息队列,好,那这里面分布式怎么理解?多台服务器去干一件事就可以了,就这么简单,那接下来呢,是发布订阅,又这么理解。
01:08
他是不是把这个数据类型分为多种类型啊,把数据分为,嗯。多种类型。然后呢?订阅者是不是就可以想要哪一类日志,我就获取哪一类数据啊,嗯,好。订阅者根据需求。选择性订阅。就完了,就这么简单,哎,这样呢更加灵活一些啊好,那下面呢,还有一个叫最新定义。那最新定义他的野心比较大,他希望成为什么样的?流平台,那他希望在这里面既有海量数据的存储,也有海量数据的计算,好非常棒啊,你就大数据场景下,你就研究这俩事,一个是存储,一个是计算,那下边呢是第二小节。
02:04
那定义完之后讲什么?消息队列的应用场景。那有哪些应用场景回忆一下宋老师是吧,嗯,这个。管陈萧风。知道吗?啊,小鹏,那这个怎么理解啊。就是你在处理海量数据的时候,一下处理不了了,那怎么办?先把它放到。哎,消息队列里面进行一个缓存之后呢,慢慢的进行处理就完事了啊,那下一个。解偶是吧,啊解偶想一想一个大型超市,那么这个消费者不可能去厂家里面去消费相关的商品,它通常是超市里去拿,那超市呢,它的进货渠道是五花八门。他可以从N多个厂商进来,各种货物放到这超市里面。
03:03
那么后续呢,消费者就从这里面拿就行了,那这样呢,就省去了各种接口的一个麻烦。好,这是九,那下面呢。叫异步通讯,异步通讯,那异步通讯呢,你就要想一想,什么叫同步通讯,什么叫异步通讯,所谓的同步是不是就死磕呀,你就想一想,所有的事儿全都得干完了之后,是不是给用户一个应答。啊,这样那么一步通讯呢,他会把核心的事儿做完之后就可以应答了,其他的事儿交给谁呢?消息队列,慢慢的进行一个后续处理就可以了,就这么简单啊。行,那这就是消息队列应用场景,那接下来。再来看。消息队列的几种模式,几种模式啊。两种模式。第一个模式。点对点,那还有一种呢。
04:02
哎,发布订阅好,那首先来看一下这个点对点模式。点对点模式,几个生产者,几个消费者。一个生产者啊,一个消费者。好几个主题。一个topic主题。那再有消费者消费完数据之后,会不会删数据?哎,会删除数据。好,那这种在生产文件当中,或者说在绝大多数框架当中用的多不多?不多啊,在实际当中啊,用的不多。那主流的呢,就是这个发布订阅模式。他的特点,第一个。生产者其实可以有多个啊,多对接多个数据源。消费者也可以。多个。而且相互独立。
05:02
成可以有多个topic。消费者消费数据之后会不会删数据?不会。哎,就这么简单,哎,记住这几个大概就够了啊。那这也是两种模式,那接下来我们学谁呀?架构是吧。好吧,总体架构,那总体架构上来,你先给它切割成几块啊,地块叫生产者。第二块呢。叫博克集群。啊,第三块。消费者第四块。JK。记住啊,这个主K也是卡法当中的一部分。比如说卡法内部,它自带了主kper,但是能不能用呢?不能用啊,因为一旦你主K包在用的是卡巴内部的主K包,那我问你个问题,嗨,杜的高可用的主K包你怎么配啊?
06:06
你能来到卡瓦内部去配吗?不可能,所以说通常情况下这种都会把它放在外部共享,那无论你还都会用主推波,还是HP用主机推波,以及卡卡用主推波,那都可以用外部的这个主题包啊,都是这样进行一个配置啊,不会用某一个框架内部的啊。行,那下面我们来看一下生产者这块。生产者这块,首先它处理的就是过来海量的数据,100T数据摆在你面前,他来对接外部的接口,他对接完毕之后,就要把这个海量的数据发送到这个博。那博客里面首先第一个。第一个接客的人啊,也就第一个概念呢,就是博克。你得知道博,它其实就是服务器。哎,就类似于我们的嗨杜110。2103104,嗯,这是它比如说面对的首先是服务器它最大,那它下面比它小一点的叫什么呢。
07:08
叫topic主题。哎,因为博客里面可以存储多种类型的主题。好,这是主题。对数据分类的。那主题下面是谁呢?由于你过来的是海量的数据,我一下子处理不了。先从主题上给你分成几类,分完类之后还扛不住的话,那就要分区。啊,分区切割成一块一块的好,那分完区我要想保证数据的可靠性。怎么办?副本。哎,因为啊,防止你就一个副本这个数据挂了那就没了啊,那这种呢,接受不了,我就可以增加两个副本,好,那一提到副本,副本里面又有区别,它分为。和对应的。
08:02
好,那么不管是生产者还是消费者,只针对leader进行处理啊?组队,这样吧,来一趟。这个很重要啊,生产者和消费者。只在那里地操作。那行了啊,基本就这些事儿,那下面再往下走,下面是消费者。啊叫消费者与消费者之间相互独立。和消费者相互独立。比如说他们之间啊,没有任何影响,哎,不是你把这些数据消费走了,那其他人就读不到了啊,没有任何关系啊,那好,那么消费者为了提高自己的消费能力,诞生了一个新的名词叫。消费者主,那这一个主的目标是一致的,就完成消费某一个主题或者消费某一个分区的数据。
09:01
哎,大家一起上啊,是这样,但是消费者主里面要有一个注意事项。某一个分区。某个分区只能。有一个消费者。消费,比如说一个分期的数据,你不能用两个消费者来消费,那就消费乱套了,容易产生重复数据是吧,好。那再往下,下面呢,就是主keep。那主K盘首先第一个事儿,主K牌里面存储了哪些信息?哎。博ID是比如说这里面谁在线,那我就把谁记录下来啊,那这里面代表的是博ID012,也就是嗨多102103104。成,除了这个信息之外,还会存储。每个淘皮哥下的每一个分区对应的。Leader哎,谁到底是leader以及呢,里面对应的IR相关信息啊就可以了啊那成,那这是卡瓦的总体架构啊,就到这那第一张结束之后,那下面我们看一下第二张。
10:13
第二章呢,叫快速入门。那入门这里面第一个就是安装。安装的时候有两个注意事项。第一个。Broke ID必须。全局唯一。好,那么在他配置文件当中修改了哪三个参数。一个是broke ID,下一个log DR是吧,也就说存储位置默认存储在time目录下,这个是坚决不允许的,那么接下来还有一个就是连接对应的。JK是吧,嗯,连接上就可以了,在JK目录下呢,我们后面来了一个卡不卡,方便你后续的管理,你不放一个卡不卡,就怕你这个机器人出问题了,那你在想维护的时候就不好维护了啊好,那注意事项还有一个就是启动停止脚本。
11:16
哎,不是是启动停止啊,启动停止的时候要先听谁。先停止卡不卡一定等他全完事之后再停JK啊。昨天有没有犯错误的行吗?至高奋勇一点。没有啊,都是高手是吧?行啊,那这个呢,一定要注意啊,那之后呢,写的是一个脚本,那像这种脚本大家呢,一定要会啊,非常简单,你看井号呃,叹号b best case dollar1in啊然后。Start。封号封号知道吗?呃,写这种代码,我看好多同学上来是呃,先写这个start,然后之后就放循环了,不要那样写啊,一定要怎么办,把这个分支写完,然后EA先写架构,再写里面的肉啊,否则的话,你写代码就容易出错啊,容易出错啊,这是正常的一个思维,然后在这里面呢,就是风循环I in。
12:21
Hi豆102 hi do103 hi do104啊,然后括号do就是蛋啊,然后里面的SSH Dollar I,咔咔,然后记住一点,绝对。入境就完事了啊,就这么简单啊,所以像这种脚本呢,呃,未来在面试的时候,有些面试官会让你现场手写。像这个是卡巴的安装入门,那下面往下看。学完那个之后,是不是就是常用命令啊。命令行吧,命令行操作。命令行常作当中,其中有三个脚本,哪三个脚本呢?第一个呢,是关于主题的。
13:01
那这个主题呢,就是这个卡不卡。Topic。点是这吧,啊这脚本那下面呢,还有一个呢,是关于生产者的。生产者呢,就是卡卡。杠CTRL。杠producer生产者,那下面呢,还有一个关于消费者的。可点CH啊这么三个脚本,那这三个脚本我们分别来看一下啊,回忆一下这个卡不卡topic操作主题,那主要第一件事永远都是什么。对啊,非常好啊,就是先连接上,那连接上的话,我们用的参数呢,就是杠杠boot。Server server,然后呢是拍O1029092,生产环境当中,建议大家配成两个啊9092,保证它可靠性,因为这个呢都是对应的客户端,那之后第二个参数就是你要想操作哪一个主题,那就杠杠。
14:12
Topic啊,然后呢,对应的主题名称,比如说first,好,那之后呢,是对这个主题的增删改查杠杠。删除删除,一般我都不想交。学完之后你就可以忘了,那下一个呢,增三改。修改杠杠AL12查呢查分两种,另一种查呢叫杠杠list,查看有多少个topic,你要想查看某一个topic的详情,DC2啊,Describe啊。那下面创建分区或者指定分区数。帕尔忒森斯。指定副本。Re啊杠啊,Replication filter啊,那这样呢就OK了,那要想改配置就杠杠con啊行,那下面呢是对应的,这叫生产者,那生产者对应的参数主要记住两个就行了,第一个要连接上对应的。
15:15
集群第二个呢,你要向哪一个topic里面发送数据,指定好就可以了,那么对应的消费者呢,同样的道理,连接上,诶消费者。好连接上集群,然后呢,从哪一个这个top里面消费数据啊就可以了哈,行,那这个呢是常用命令操作。这个对大家的要求就是。呃,前期可以升一点,你说没有必要敲的那么熟,但是呢,至少别总出错啊,敲两下就错,敲两下就错,那这个有点接受不了啊,呃,看着呢,你说你看着这个笔记能把它敲出来,我觉得就可以了,就可以接受啊,因为生产文件当中,呃,三年时间你可能会用一天左右对吧?啊来实现创建topic主题啊,这种运场操作啊,比如说用的不是特别多,那下面往下走。
我来说两句