00:00
好,那么接下来呢,我们就开始写我们这个需求了,因为把前置内容,这个需求所需要的前置内容都已经介绍完了,包括后面呢,有一些东西呢,也都介绍完了啊,当然了,其实还差一个东西啊,到时候我们用到的时候再跟大家说啊,其实我们在呃9.5节就会碰到啊,还有一个新的内容啊,就后面再再往后呢,就没有什么新的内容了啊啊,那接下来我们看这个是交易域加购事物实施表啊,那我们先求加购啊,以往呢,我们可能都是先求订单。我们可能都是先求订单,为什么这个先求架构呢?就是说我们整个难度啊,是设计的成一个正单分布,对吧,但是正态这个不一定在正中间对吧,可能在第二个第三个啊,因为我们刚开始用这个弗link搜狗,接下来呢,从9.4开始啊,我们都用的是弗Li搜狗,因为我们说了join更容易方便一点嘛,对吧,还有关联微表的这种操作啊,就lookup join这种操作啊,它啊会更方便一些啊这个意思,所以呢,我们接下来都用的是flink so,那么大家呢,对于弗link so。
01:04
不太熟。啊,因为没怎么练对吧,第二个呢,讲的时间会偏少,所以呢,我们先用一个相对来说比较简单一点的需求呢,去入个门对吧?诶来稍微熟悉一下这个fli s该怎么去写,那我告诉你第二个需求就会难度就上来了。啊呃,但是呢。整体的内容啊,因为后面都是flink circle,那这个circle呢,其实除了这个表的字段不同,整体内容都差不多。能懂吧,所以呢,9.49.5呢,我是详细的一点一点的给大家去带着大家去敲,但是后面我告诉大家就不一个一个去敲了。啊,不是说所有的就一个一个的敲了,然后呢,我们主要带着大家分析这个需求,然后呢,找出来跟前置需求的不同点之后呢,可能我们就直接诶一步一步的把这个代码注释,但是我正常的会写对吧,然后呢,一步一步的把这个代码呢,把它粘过来。
02:07
啊,粘过来,然后再一运行能听懂吧,啊,因为就没必要了,它里边呢,无非就是字段,每张表的字段不同,就是整体上业务逻辑都一样的,因为D到D层我又不需要做聚合操作,我只是说把多张表关联起来,对吧,无非就是这过滤条件跟字段不一样。我们只要分析清楚这个就好了。能听懂吧,所以呢,前两张表会讲的比较细一点,就是一点一点的带着大家去写,但是后续就不这样做了,大家要明白啊好,那么第一张呢,是加购时值表,那这张表咱们要做什么事呢?对吧,首先我们要提取。架构表的数据。对吧,那么接下来呢,我们要。关联。字典表就是我们的被DC这张表,哎,把它关联写到。
03:04
架构表当中,最终呢,把它输出到对应的卡夫卡主题里边。OK吧,咱们要做的就是这事。啊,那无非就是说我们并没有单独的架构主题,对吧,我们数据现在在哪,在topic。DB里边我们并没有拆分,我们之前就解释过为什么业务表没有拆分。对吧,那行为数据呢,我们是拆分了,然后再做加工,比如说我们要求这个日活明细,对吧,求这个用户跳出的明细。那咱们呢,是在拆分各个流的基础上做加工的,那业务表呢,没有做这事儿之前就聊过这事儿了,因为日志数据数据量比较大,而我们的业务数据数据量比较小,那就涉及到我们再多追加一层,对吧。就是说中间再经过一次卡夫卡这个必要性。因为你再经过一次卡夫卡呢,势必会对这个效率造成影响。
04:02
对吧,但是如果说你直接消费这个全量数据,每一次都消费全量数据。然后呢,再过滤出你想要的,这个时候呢,如果数据量大了太大,它也会对于我们的性能造成这个影响,对吧,所以呢,日志数据数量大,我们拆分行为,这个业务数据呢,数据量小,我们就不拆分,对吧,所以我们要消费to的DB的数据,接下来过滤出来我们想要的架构数据,接下来写一个。被dic的表之后呢,把它。关联做一个。Join做一个关联就好了,对吧,我们把这个呢去实现一下啊,去实现一下,当然这里边儿的一个点我们都已经介绍过了啊,包括这个,呃,JDBC它连接对吧,呃,Lookup catch这个点呢,我们都已经。搜过了,全部都介绍过了,这包括这个东西对吧,他俩呢同时存在啊,包括这个驱动,如果你没给,是不是他会打印这个东西已经过时了,对吧,这个呢,我们都已经看到过了啊呃,当然这个卡夫卡的connect咱们呢还没有去。
05:07
复习啊,但是这个东西不是新东西,就是大家之前在学Li s的时候呢,已经见识过了啊,但是呢,嗯,由于时间过了一段时间了啊,那我们呢。带大家刷微料。搂一眼OK吧,我们带着大家稍微看一下啊,是这意思啊,当然这里面参数呢,都我们在官方文档当中都可以去。看得到啊,都可以就看得到啊,这是我们的一个需求的说明啊,啊接下来呢,我们直接看这个需求的整个的图解啊,因为呢,它比较简单啊,就是说。读取并过滤数据,然后呢,生成这个字典表,Join写出去就完了,对吧?好,那我们来看一下这个流程啊。首先消费第嗯业务主题的数据,哎,这个应该是消费ods啊,这个这个有问题我改一下啊。啊,消费ods业务主题的数据对吧,Topic DB啊,他这个DB消费这个,然后第二点呢,我们要。
06:09
筛选加购数据封装为表。啊,就过滤出来,我们要加构数据,因为现在这个topic DB里边,它有所有的我们46张表的数据,对吧,你生产环境当中如果这样写,你可能是上百张表数据对吧?好,那么我们把这个呢,封装为这个。表啊,接下来呢,构建我们的买circle对应的被DC的一张lookup字典表。对吧,之后呢,中把那点秒了,中转零之后呢。写出去。写到加构实施主题啊,所以呢,你看这就一条线比较简单一点,一条线对吧?啊,其实这里面相对来说比较复杂的是谁呢?就这这个。相对来说比较复杂的,因为我们要读取topic DB,那也能说读取topic DB这个还复杂吗?你等会就知道了,你肯定没有你没学过的东西。
07:01
OK吧啊,就是数据类型,数据类型问题啊,因为大家之前呢,是用过这个弗Li s卡夫卡的连接器,对吧?诶那你就无非写这个参数呗,对吧,见表语句一写,但是呢,见表语句你注意要有类型啊,对吧?啊,主要的问题就出在这个哪呢?就这个类型下面啊,等会我们能看到这个我们就关掉了啊,这是我们整个的一个需求分析跟思路的一个整理,对吧,没什么太大的一个难度,所以我们说的第一个需求呢,作为弗思的一个入门需求,它肯定不会特别难啊。
我来说两句