温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
那接下来就剩一点小概念了啊,数据读这一块前面都其实都介绍过了,我不再啰嗦了,就一个快照读取,一个增量读取,那还有一个读优化视图对吧?那还有一种叫流毒,那这个主要是在0.8版本之后的flink这边支持流毒,那当然后面我们也会去演示啊,也会去实际案例去操作啊,真正的是一个流式的读取,它是SS会定期监控新增的改动文件,将读取电路下派。对吧,给读了这个task,这个后面再唠吧,你简单留个印象,那我们聊一个compassion compassion来一起回忆一下它是什么表,有的呀,Mo表啊,记住啊,Co不用compassion那。如果啊,我是数据刚刚开始写,那这个时候是不是没有basefi,也就是没有PA,那这个时候你要compassion就是什么呢?他走的是类似cow,呃,Cow这种银色的流程,直接什么梦GE所有的log文件举完生成一个pack文件,就这么理解就完事了,那如果呃,现在已经有pack文件,并且呢,也有log。
01:18
那怎么办呢?啊,它会先什么呢?其实就是一个upset流程,它会先读log文件,建立一个索引,再读什么呢?老的PA文件。啊,建完索引读pack,读完pack do log之后呢,将他俩合并到新的一个pack文件啊,就这么简单嘛啊,另外要想强调的是,咱们这个compassion是可以走异步的,什么叫异步啊?我相信对同步异步这个概念应该还是有些人搞不太明白,这是,呃,应该说作为一名开发基本的。基本都要了解的吧,那所谓的异步就是各管各的呗,对吧,就有点像咱们田径比赛当中的什么呢?比如说400米比赛吧,啊,是不是每个赛道一名选手,对不对?那你开始之后啊,裁判发令之后,是不是各跑各的,你总不会说你跑得快,你跑到前面说,诶,我等你一会儿,你没有这回事儿吧,你专心跑你自己的就行了,是不是这是一个异步,那还有一种同步,你可以怎么理解,400米接力啊,400米接力啊,如果上一棒400米没跑完,你下一棒不能跑,你是不是得等啊,是不是得阻塞呀?啊,那一般来讲这么来粗糙的理解就够了啊,那这边的异步指的是什么呢?呃,就是咱们写入的这个动作,跟我们执行compassion,他俩之间不用互相看脸色,不用互相等待啊,Comparison有你自己的条件来触发执行就行了,我写入管我写入的就行了。
02:57
那这个compassion compassion的策略可以按照。
03:04
呃,几次commit,或者说按照固定的时间来触发,这是有不同的策略,对吧,那一般来讲,呃,会用数量更多一点啊,数量更多一点。行,这是咱们聊的一些小概念了,后面几个就简单过啊。
我来说两句