00:01
好呃,那这个Spark啊和这个卡不卡,我们就先总结这么多啊行,接下来。这个我不知道这个大家都讲了什么东西啊,我来给大家这个整体梳理一下吧。就还是说细节啊。呃,诶,错了啊。这个的话,我们从这么几个层面去去这个记它啊,首先呢,你先一定要记住一个,它非常非常非常重要的一个特点,就是单线程加L多路复用。这个一定要把它记住啊,我们在使用这个red的时候,其实很多种情况下,就是看上了你的单线程加这个L多路复用。就这哥们儿吧,他第一个不用考虑并发问题的,再一个呢,它的性能还很还很高,你知道吧。它性能还很高是吧,嗯,这个东西一定要记住啊好。
01:06
啥情况?这是?行呃,单线程加这个L多路复用啊,这个是你需要这个自己去看的啊,同学们好,然后呢,接下来这个red中的话呢,应该讲的就是这个它的数据类型了,对吧,应该叫五大数据类型,是不是哪五大呢?来写一下吧,这个应该都是很熟的哈,在项目中这个天天用对吧,第一种字符串。好,第二种是这个list,然后呢是site,然后是这个site,好,然后是这个哈,好这五大数据类型的话呢,不用我再给你强调了是吧,这个应该是你们在整个项目中啊,应该是这个学的比较好的一个地方了吧,我觉得因为我们很多地方都用到了它。然后呢,在用的时候呢,我们每次都会分析啊,你是什么类型,你什么类型,你什么类型,对吧,什么场景里面用什么,什么场景不适合用什么。对不对?这个当然是我们在项目中说过的,但是我希望你们呢,能够从每一种类型的角度去出发,然后想一想在什么场景里面它比较合适,什么场景里面它不合适,就是你抓住每一种类型的特点去想这个事儿。
02:14
对吧,当然如果说呃,你这个能够结合上这个项目去说也很好啊,比如说诶,我在我的项目中什么什么地方,我解决了一个什么问题,我用的是red,当时我为什么去选什么什么类型。对吧,别的类型有什么问题啊,你这么去说那就更OK了。好吧,都得你让你去总结啊,你不总结肯定不行啊。好,来,这是比较重要的一块啊。呃,除了这个五大数据类型之外啊,它这个再重要的一块,嗯,那就持久化了呗。持久化里面我们包含两种,一种是这个叫RDB,一种是叫A,对吧。这个RGB和a of分别是什么意思,你要知道。
03:01
对吧,来就是你们要去总结什么东西哈,呃,他们的什么持久化的这个方式,这你要知道,呃,比如说RDB就是快照a of呢,就是什么,呃,这个这个写操作的一个追加。对吧,持久化的方式以及他们的什么呀,就是RDB的什么,这个优缺点一定要知道,对吧,RDB的优点是什么呢?优点是恢复速度快A节省时间。是吧,然后呢,接上磁盘。缺点就是可能会丢失最后一次备份以后的数据。对吧。就是RDB。好,那A的话呢,也是一样的啊,你要知道持久化的方式,呃,我这个带上个问号吧哈,带上个问号的东西就是你要自己去。呃,算了,不带了吧,你们自己去总结吧啊好,然后呢,他的这个优缺点也要知道啊,他的优缺点,那优点就是。呃,备份频率比较高啊,这个丢失数据的风险是比较小的。
04:03
对吧,然后呢,再一个是可读的这日志文件,就比如说你有些误操作,比如说你这个flash了,Flash DB了,诶那我是可以怎么去做恢复的。好吧。然后呢,缺点就是占用的这个磁盘空间大,然后呢,官方说了,就如果是在这个高频率下面去写的话呢,可能会写残a of文件。啊,但这个我没有见到过啊,不过这个官方说的,那就有可能会出现这个问题。啊,你心里面得清楚清楚的知道有这么一个点。OK吧,行,那知道这两种之外以后呢,你要知道的是如何选择,那我到底选RDB还是选A,什么情况选RDB什么情况选a of,什么情况都不用,什么情况都得用。对吧,这个你们当时讲的时候已经都讲过啊,下去以后自己去看的吧,啊自己去看一看,别到时候人家问你说你们的R这个怎么做的持久化,对吧,你说啊,我用了RDB,他那人家问你为什么用RDB,你家说不出来。
05:00
为什么用AF,你还说不出来?对吧,不行啊。这些问题你就自己问问自己,看你能答出来不?答不出来,那就看。啊,上。好,这是这个持久化啊,然后呢,再往后,再往后的话应该就是嗯,叫主从复制了是吧?呃,主从复制相对比较简单哈,你们应该讲了这么几种方式啊,第一种是那个就是一组多重啊呃,一组两重吧,好吧,一组一组多重啊OK,还有一个是那个叫什么叫叫什么这个薪火相传是吧?啊这个其实没啥用啊。星火是不是啊,这种模式对吧,还有一个是这个烧兵模式啊。哨兵模式啊,前面的两种啊,分别是怎么搭建的啊?然后呢,他们都是这个不能够做自动切换的这个哨兵模式,我是可以什么做这个自动切换的啊,那我们将来用的话,肯定用的是这个哨兵模式,这个哨兵模式里面你就得知道啊,这个哨兵的作用它是什么。
06:10
对吧,那你这个主从切换的过程是什么样子的。我怎么去切换的这个主虫。对吧,这里面会涉及到这么几个点啊,第一个是什么呀,就是我们这个叫什么叫主观下限主观。下线第二个是什么客观下线好,再一个就是什么呢?就是这个,呃,这个这个切换的这个就是切换的这个流程对吧,你的主机要怎么做什么操作,你的重机要做什么操作。对不对啊,你们应该都是讲过的啊,你下去过去看一下吧。好吧,下去我看一下啊,什么叫主观下限,什么叫客观下限,这个是哨兵他的主观意识和什么客观意识。对吧,主观现象就是一个哨兵认为主机挂了,客观现象就是什么呀,多个哨兵认为主机挂,他们商量了商量以后说要做这个主动切换了,对吧,还有一个是这个呃,切换的流程啊,再来加一个吧。
07:17
就是重击的选择。我选择哪个重击啊,对吧,我选择把哪个重击做一个切换呢。是不是啊,我都要选什么东西。好吧,哎,这要知道啊。OK,行,这是我们的。主从复制里面的东西啊。然后组成复制完事以后呢,就是你们的集群。呃集群,呃集群的话呢,首先有这么几个概念啊,第一个就是。这个集群的架构,呃,Red架构呢,它是一个叫所谓的什么叫非中心化的集啊,非中心化配置啊,非非或者去中心化啊,去中心化配置。
08:02
就他没有说围绕着谁干活,他们是相互依赖的。对吧,相互依赖的啊,这个架构你要知道,再一个就是什么呀。有一个非常关键的数字啊,叫16384。你把这个16384记清楚了,你要知道他是在干嘛。对吧,整个集群规划成了16384个插槽。数据是什么呀,要算到你的每个槽里面的。听懂了吧,他为什么这么做呢?因为你扩容集群的时候,如果说我的K都是基于你的。节点数来算的,那就要什么涉及到大量的蕊哈希操作。在这种情况下,因为我的槽是固定的,我只需要把槽跟着你的集群。扩容就可以了,比如说。我把我这个节点里面的一部分槽移到另外一个节点中,那我只需要把移动的这个槽里面数据做一个移动,别的数据不用动,对吧,你要去想明白它为什么这这么去设计好吧,行,然后再一个就是这个集群的一个,呃呃,集群的限制啊,它有些限制,哪些限制呢?比如说。
09:08
多件操作不被支持。不被什么支持啊,除非使用使用这个东西。大括号。对吧,使用这个东西就给他什么分配一个什么叫分配一个组吧,相当于是。对吧,再一个什么,就是那个什么,呃,事务不被支持啊,这个估计呃,这个你们都没讲啊,事务不被支持啊,应该都没讲啊,这个我们是不涉及的啊好还有一个是那个撸多脚本啊。这个录化脚本一部分支持啊。好,它有些限制啊。OK吧,它有些限制啊,然后别的我觉得就没啥了,这个集群的搭建其实很简单。是吧,搭建很简单啊,你就把那个该配的东西,该准备的东西准备好,那就差不多了。是不是啊,那就差不多了啊行呃,然后再一个点就是这个操作。
10:06
呃,那这个你肯定得会啊,这个加的话你得分情况哈,如果说你是一个单单节点的。对吧,单节点的这个,呃,单单节点的这个red,那你用的是什么呀?你用的就是这个东西,就是用直接什么用je或者说呢,用什么用这个。对吧,那如果说我是一个叫什么叫这个主冲节点啊,就是主冲的啊,主冲模式的。对吧,这个时候啊,应该叫哨兵模式吧,啊,如果说是哨兵模式的情况下,那你应该用的是叫做S。对吧。好,那还有如果你用的是这个,嗯。你用的是这个集群模式。好,那你应该用的是一个,嗯,叫做cluster对吧。那我觉得这个你肯定得会写啊,你要不会写那肯定不行。
11:02
写代码你得会写啊行好,呃,这是我们这个ready讲的东西,那最后的话你还是总结的啊,就是自己补充。补充什么东西呢?这是。各个知识点啊,各个知识点的这个细节啊。各个指甲的细节以及在项目中的使用场景,一样的就一定要记上几个场景啊,就告诉他我在我的项目中确实用到这个东西了。明白了吧,你不能光说我项目中用的什么什么东西,人家问在哪用的呀,你说你又不知道,你又记不住怎么用的呀,为什么用他呢,你又不知道。那你还不如不说。对吧。好,来这是这个啊。OK啊,那我们继续吧,啊,继续。呃,下面是这个Maxwell啊,这个Maxwell的话就很简单啊,这就这就两句话,其实啊,这第一个啊,我们用到它的两个功能啊,一个是。
12:08
实时采集。对吧,实时这个采集一个是这个叫什么叫这个嗯叫叫什么叫全量同步对吧是吧,那具体的话就是他用的是一个叫做呃,就这个Maxwell命令啊,然后这个用的是什么呀,这个用的是那个加叫做Maxwell杠杠什么呀,杠这个trap对吧。我们就用了这两个功能啊,别的就没了,至于什么安装啊什么的,嗯,我觉得无所谓啊,再一个吧,理解一下它的那个啥哈,理解一下那个啥东西。呃,就是它的这个工作原理啊呃,那这个工作原理的话呢,我们会涉及到就是涉及到my soql的这个主虫哈,My soq的这个主虫主虫复制,这个my soq的主虫复制的话呢,我们又涉及到了一个这个blog啊啊,这个blog里面的话,我们涉及到的一个就是它的一个什么blog的级别。
13:11
能记得吧,那这个冰的级别里面的话呢,我们就有三种,一种是叫做嗯,Statement,一种是肉,一种是mixed,对吧。呃,这都是给你们讲过的哈。这都给你讲过的。OK吧,同学们啊,来,这是这个maxcel啊,这个就简单一说啊好。呃,等一下。
我来说两句