00:00
好,那接下来呢,我们就去写我们的代码了,我这个拿一下叫贝DB啊。还是到real time中间来。然后APP包下DWD里边,然后来一个base DB。还记得最早的时候我们要做的事情呢,我们等会也带着大家写一下啊,就是整个的逻辑,逻辑线我们要写一下。好,那首先呢,是卖方吧,肯定要有的第一步。啊,雷打不动的是吧。叫获取执行环境啊第二步。消费卡不卡?哪个主题叫ods?DB主题数据创建。刘。对吧,啊创建流呃,那创建好流,创建好流之后呢,我们需要做什么事呢?来。
01:05
将每行。数据转换为。杰森对象啊,然后第四步啊,并过滤吧,我就写到一块儿了,并过滤。啊,那然后呢,我们做一个过滤对吧?好,那接下来就是有的是这过滤叫谁呢?注意我们写一下第delete的数据对吧?第类数据我们说了,呃,对于我们当前任务没有用,假如说你在工程当中有用,你就不要过滤掉了,我们可以过滤掉对吧?好,那这个是不是相当于。我们主流。我们主流的数据就准备好了,对吧,你处理成阶层对象就够了,好,那接下来呢,我们要。第四步。啊,第四步呢,使用叫flink CDC消费配置表。
02:05
啊,动态读取这个配置表,配置表呢,也是另外的一张表对吧?啊,那我们要消费这个配置表啊B。处理为成广播流。啊,并处理成广播流。对吧,好,那接下来我们下一步。啊,那现在两个流就相当于有了,诶主流有了,广播流也有了,好,那这个呢,我们写一下啊,这个是广播流。对吧,这个呢,还有一个这个是主流啊,两个流都有了,那接下来连接我们的主流和广播流。你要把它俩放在一起才可以对吧,然后再处理好,连接好以后。处理数据,这个处理数据呢,有两块啊,分为广播流数据。
03:02
你要处理一下对吧,还有一个呢,主流数据啊,当然主流数据需要根据广播流数据要处理对吧,这个要根据广播流数据进行处理。啊,就是呃,那主流数据来了,到底哪张表,我要去广播流里边去查一下,对吧,你这个表该写到哪儿啊就写到哪啊其实它这个地方呢,就处理数据,其实就是一个分流啊,这这一步操作呢,其实就是一个分流。啊,分成卡布卡和埃贝斯流对吧,那接下来我们提取。第七步啊,提取卡不卡。流数据和这个h base。数据啊,那最后。第八步啊,那把这个数据提出来之后干什么事呢?
04:01
对吧,呃,将。卡不卡数据?写入卡夫卡主题,好将贝斯数据写入Phoenix表。对吧,那对应的要写出去嘛,啊,你们刚才这个只是分了两个理由而已啊,那另外呢,我们要重新写出去,好,那第九步。最后一步了,对吧,启动。任务啊,启动任务好,呃,那大家看一下这个逻辑还有没有什么不太明白的。这是我们刚才分析的那一堆,对吧,把这个逻辑写了一下。这个逻辑O不OK,能行吗?就是咱们接下来要做这些事情。
05:02
能理解吧?对吧,其实是比较清晰的啊,但实际上哎,那我问一下大家,你觉得这个九步当中,你觉得哪一步是最复杂最难的一步啊。你觉得哪一步是最复杂最难的一步啊?台六台七。第七步很难吗?第七步就提取一下数据对吧?很难啊,我告诉你应该是哪个第六步最难,然后是第八步。啊,两个6868这两个啊。比较复杂。七不难吧,对吧?啊,刚才我看首先说六七啊,对啊,你看范总用666的方式告诉我们了最难的一步是什么,是第六步,对吧?啊,你看突如其来的666,你看。
06:13
这跟我没关系啊,他正好是第六步,我不是,我其实没有没有意思让大家扣666的啊,我没有这个啊,我没有暗示大家也没有迷失好吧。是我问了大家每一步,大家自己扣了666了,对吧,啊就是就是这么自然啊。好,那这块呢,咱们就到这啊,我把这个截一下。
我来说两句