00:00
好,那咱们接下来来看一下这个关于rock CD。啊,它的一个优化啊,它这个状态后端啊,呃,任务DB呢,它往往在生长环境当中呢,存在是一种大状态,就类似于我们呃用FS,因为它毕竟是放在文件系统里面的。对吧,放到文件系统里的,而且它也是基于这个RSM数的啊,类似于这种方式来做的啊,就是它性能呢非常高对吧,它也是这种KV的一个数据库啊,KV数据库啊好,那第一个如果说我们设置这个目录的时候,那第一个问大家一个问题啊呃,关于rock cb。DB这种方式状态后端它本地。和远程的状态。存在的。它这个状态本地存在什么位置,远程存在什么位置。
01:04
我们状态后端管理状态的对吧。管理状态的好,呃,那我们开启checkpoint。和不开启产能方的,它保存的位置肯定不一样,对吧?啊。假如说我们用了这个车,用了这个状态后端没有开启checkpoint。它就叫本地的状态对吧?呃,那开启的插方就远程的。本地task manager。或者说大家答一答吧,这三个啊,这三个。第三个呢,一个memory。Mary,还有一个FS,还有一个绕CB对吧,它的一个状态都存在哪啊,分为两个啊,一个是本地,这是远程,大家把这个都去过来打一打。
02:11
Memory存长,远程存长,然后FS你从长远程存长,还记不记得第三个。啊,首先memory告诉我本地在哪,然后远程在哪,它的位置在哪。Memory内存内存啊,你看答的,你们答的。内存你看,答的越来越简单了。啊,只有向总,蒋总还有副总对吧,他们三个人答的才是对的啊,你就答的什么本地task,远程job man。
03:08
那那top manager是磁盘还是内存呢?还是什么呢?Job manager是磁盘还是内存呢?对吧,那都不说清楚啊,那本地呢,是TM内存吧,Task manager内存,然后远程是job manager什么内存好这第一个过了二个FS呢。S。本地和远程都存在哪?好,那这边呢,是task measure的内存。对吧,远程是文件系统,一般来说啊,这个地方文件系统对吧,一般来说是分布式文件系统防丢嘛,对吧?啊更多的时候呢,我们用的是HDFS对吧?好,然后CB呢。
04:11
Rock cb呢?都是绕DB。什么叫都是CB啊?我说的是位置,你知道拉DB是个什么东西吗?什么叫都是绕B?绕B是个位置吗?本地TM内存加文件。嗯。团队。本地文件加远程文件。啊。好,那接下来我们刚才看到了啊,这个地方它是基于这个lsm数去做的,它其实是内存结合磁盘的方式。
05:08
对吧,所以本地啊,本地是什么?其实蒋总说对了啊,就是说本地呢,它是内存就是呃,目前机器跟task me有没有什么关系啊,当前机器的内存加磁盘。对吧,当然机器人内能量磁盘,而远程那当然是文件系统文系统对吧,往往来说呢,还是一样的,为了高可用,那我们还是用FS。对吧,还是用IGFS啊,这个地方用的是,或者说我们直接写就是内存加400啊,现在基于lsm数的,诶搜同学呢,拔这个本地文件也没问题啊,内存呢,只是为了读写加速读写的,它真正存储的地方其实还是磁盘。对吧,它不会不会依赖于这个内存,只是说为了读写的速度快一点,它用上了这个内存而已,对吧,所以说此时这个内存呢,相当于是一个辅助啊,相当于是一个辅助功能,对吧?更重要的还是存在这个磁盘好,这是我们所看三种啊,你要知道一下啊呃,那所以呢,第一个啊,在高地当中,它可以设置本地的多目录。
06:20
啊,可以设置这个多目录,诶,多个目录去写对吧,而且这个多目录呢,尽量分配到不同的磁盘上面,它发展同另白磁盘,它呢,会随机选择所使用的目录,不是可着一个目录来用,对吧?啊它这个并发呀,或者什么样都会更高一点啊,都会更高一点,这个意思啊,当然这里面还讲了一个点,呃,由于它是随机选择的,尽管你选择三个,不是轮巡对吧,不是轮旋,尽管你有三个,很有可能它可是一个用,那这个时候呢,下面我们可以去看spo,看一下到底是什么情况。对吧,可以去呃。配置一下啊,当然这里面说了,如果你想绕DB的性能更高一点,可以把我们的普通的机械换成。
07:05
换成固态啊,这个效率会更高一点,对吧,那这个都是对磁盘做监控,它的一个磁盘这个读写速度对吧?这个意思啊,好,这个倒还好,呃,然后接下来呢,这个地方是增量检查点。注意这个功能啊,只有绕DB才有。只有rock cb才有,其他两个没有memory,还有这个FS,它俩都没有啊,呃,他们俩呢,只能全量,所谓全量跟增量什么意思呢?比方说这样啊,呃,我刚开始呢,有一个状态是1234。现在呢,我又多了两个状态,我状态呢,变成了123456对吧,那跟上一个比,是不是就是多了这个五六这两个状态啊。对吧,而对于memory这个状态后端和FS状态后端而言,他第一次存的1234,第二次存的是123456。
08:01
啊,他第二次存的是123456,它对于ROCB而言,如果说我们把增量存储给它打开了,改为住了,对吧,它第二次存的就是五六。它只存增量部分。13、增量部分。对吧,是这个意思啊,这个呢,就比较优秀一点了,是不是对吧?假如说我们在做这种,呃,日活驱虫的时候,一个状态呢,只要写入了不带不再变了,也不也不会被删除了,对吧?那这种呢,我完全可以用增量检查点啊去做对吧?啊会更优一点啊,会更优一点,因为我只每次是保留一点点数据嘛,对吧,写出去一点点数据啊好,这是第一个,他的一个特点啊,就是他自己所独有的,其他人是没有的啊呃,然后接下来。这个地方啊,这个地方呢,是配置的一个模式。指定我们当前。什么模式?啊,接硬盘加内存模式。
09:00
啊,加内存模式啊,如果说本地的,如果说你是SSD的,那更好一点,对吧?啊可以指定这个模式的啊这个地方如果你本地是这个,哎,那有同学说那我本地磁盘人是SSD不就行了吗?对吧?那也要注意一下,通过这个参数呢,它会针对于不同的磁盘做不同的优化的方式嘛,比如方式可能不同,对吧?啊假如说你是SD,你非得指定成普通的磁盘,那那就当普通磁盘来写,虽然你比SSE的比普通磁盘肯定更快一点,但是肯定没有这种更高。对吧,他会做这个算法的优化,写出优化啊好,那这个内容,那接下来呢,是关于我们它的一个内存啊,这块的一个内容啊,那这块看一下首先。有block catch block catch在database当中啊,我们学过对吧?啊,这个就好介绍一点了,那当中的一个block cat,还有一个memory saw,对吧,那就类似于这个好red b。
10:02
好,Red buff对吧?好,那这个blockca呢,是给读去用的吧,而red buff看这个名字呢,就知道它是给写用的啊,这个就是写缓存,这个读缓存,那如果读缓存我们调高了缓存命中率更高,那什么意思呢?呃,比方说我现在总共状态是八兆。光兆的是八兆啊,假如说我这个内存只有三兆啊,举个例子,三兆,那一定还有五兆的数据在磁盘,如果说用到的时候只能从磁盘去读,对不对,因为这三兆我可以拿过来,好,那将来如果我的状态是八兆,但是呢,我的block catch是十兆。是不是所有数据都可以放在缓存当中,对吧,那所有数据呢,我读的时候都不需要走磁盘了,我直接从这能拿到所有的数据,那所以呢,这个就是缓存命中率。啊叫缓存命中率。对吧,这个没问题吧,好啊,那接下来呢,是关于它的一个th flash用于后台flash合并。
11:06
啊刷写和合并,因为它也是磁盘加内存的方式嘛,你想挨着base就好了,对吧?好这样呢,可以把它线程数调高啊,那那下来呢,写缓存,写缓存的是数量,以及写缓存的大小,那这个调高那不用毋庸置疑,对吧,还有这个这三个都是关于写缓存的啊然后呢,合并的时候用到的缓存的一个数量。对吧,啊,可以去调整它这个内容啊,然后接下来还有一个就是说这个。设置本地恢复,一般来说这个要打开啊,因为刚才我们说了,在我们任务过程当中啊,我们是有一部分数据存在本地磁盘,另外一部分呢,存在远程checkpoint,这个是check目录,那我们开启了checkpoint,它才会把状态存到这儿,对吧?啊,那我们之前说过checkpoint呢,用来做任务的自动恢复,对吧?假如说任务挂掉了,它自动重启,它会从拆换的读取,那么这个地方干什么事呢?叫设置本地恢复,也就是说我优先呢从这个地方去恢复,而不需要从ID加载我们的装态数据,那这个肯定更优一点,对吧?每个task manager本地啊,肯定读写速度啊会快一点。
12:14
对吧,啊是这个意思,当然如果本地有问题,它也会走远程啊,只不过说我们把它打开,这里我来说呢,我们要去打开的,对吧,那其实这里边呢,就关于由于它是跟很像的一个东西ZB,它也是这种KV数据库。啊,它KV数据库,而对于我们的那个呃h base,它叫什么呢?它叫h file h file呢,这种也是一个KV的文件啊,也是KV的文件,所以他们俩在整个架构设计的很像,所以它里边呢,也可以设置这个读缓存。斜缓存。对吧,啊,那这一套东西要注意一下,只不过说还有一个点啊,就是在于它增量增量检查点,这要注意一下它这个特色,其他的不行,其他两个不行,对吧,这是它独有的啊,这个要注意一下,好,这是我们所看的叫周DB的一个配置信息,对吧。
我来说两句