00:00
好,那接下来呢,我们看一下第八张表叫什么呢?叫这个。支付成功。事物实施表。啊,是一张支付表。对吧,呃,那我们知道支付表呢,它本身在我们的买搜当中,对吧,属于一张事务型实时表,也就是说它的数据呢,未来只增。不解对吧,我们找到这个支付数据啊,Payment info对吧,这个,但是在我们对于电商我们都有这个经验。对吧,而且呢,我们所有的需求呢,之前项目也好,都是以电商为背景的。那我们想一下,我们在支付一个数据的时候,就是我们做支付这个行为的时候,是不是针对于整个订单而言的。对吧,因为订单呢,分。订单表out in for与all detail订单明细表。All in for呢,是针对于整行订单,从订单力度而言的,而all detail呢,它是从商品力度SKU,对吧,最细的商品力度而言的。
01:10
而我们的支付呢,是跟着订单走的。对吧,好,那未来我就想看一下,诶,那我这个商品。出售的情况怎么样?那是不是说我们要将这个支付表与订单表要做?关联的。没毛病吧?对吧,要关联,而且同时还要关联那个订单明细表,因为现在我支付数据里边没有什么。明细没有SKU,但是未来我很有可能要计算。某一件商品,或者或者说某一个品类。对吧,或者说某一个品牌。它真正的售出情况对吧,因为有时候我们看这个GV。
02:01
我们用订单下单来看,因为这个数字会更好看一点,对吧,但是我公司内部有时候我要看数据,我肯定看这个东西被支付了。因为只有被支付了。才真正的钱,你光下订单那不行对吧,因为你未来有取消订单的,还有这个呃,超时的。对吧,那你把这些数据都算上,那就不合理。啊,但是你求g ma给外面人看的时候,那可能拿订单去看,对吧,也不算你造假,那实打实我就拿着订单数据嘛,对吧,也不是说这个数字是编的,也就是我实打实求出来的,看一下这个内容对吧,同时看一下下订单,然后呢,对比一下支付,诶下订单呢30万,支付呢2万,那肯定有问题对吧,你人家都下订单了,最后呢,没有支付成功,那因为什么呢。对吧,啊,是不是你这个界面做的不好,支付按钮呢不好找,然后很多的时候呢,就超时了,人家找不到对吧,就类似于这种情况啊,啊或者说你给的时间太短。
03:05
假如说正常来说呢,我们给15分钟到30分钟让你去支付,下单之后,对吧?啊,或者一个小时去支付,那你要是给,诶,那你下订单之后,你给人家两分钟去支付。可能人家试了这个微信,哎,发现没钱了。然后要换对吧,或换那个银行卡,发现再回来支付的时候超时了。这就是你这个产品上设计不合理对吧,我们也能够看到这个点,就是说拿着订单跟这个支付做对比。对吧,啊,我们也能看到这个事情,就是我们所谓的叫漏斗分析,对吧,从订单到支付的百分比是多少。啊,那我们能看出来一点点东西。对吧,啊,所以呢,我们要求这个。支付啊,要求支付且呢,按照我们刚才所说的,我们的支付呢。要关联订单明细。
04:01
对吧,要关联这个订单明细,呃,而我们订单预处理表已经将all in跟all detail怎么样。已经做了一个关联。对吧,我们已经做好了关联,所以呢,我们只需要将支付表。与。订单预处理表进行关联就好了。对吧,直接将它进行关联,只不过说这个时候关联的时候,大家一定要注意一下,就是我们因为涉及到join,涉及到join的时候呢,咱们要考虑一个问题,就是你这个时间设置为多久比较合适。好,那这个地方大家认为设置为多久比较合适?之前我们在做订单,订单明细,订单明细活动表以及订单明细勾券表。我们给的是五秒的。状态保存时间对吧,那现在呢,我们要拿着支付跟。
05:04
订单。这个数据进行关联,那你告诉我这个东西应该。多少比较合适?嗯,应该是,大家觉得应该是多少比较合适啊。啊,袁总说15分钟加五秒,或者这个30分钟加五秒,对了啊,没毛病对吧,因为这很简单,咱们呢,正常的你下订单到支付。你假如说你平台给的是15分钟。对吧,我记得美团啊,15分钟,像京东或者什么样的30分钟,这个可能没注意,因为我们一般来说都是下订单之后可能立马就支付了,也没太注意那个时间。
06:05
对吧,但一般来说呢,这个平台。都会给你一个时间啊,这个时间是有必要的。你懂吧,啊,那第一呢,因为你下订单以后,他就减库存。你订单下来之后,他就要减库存,就相当于你已经把这个商品占有了。那如果说。你下订单之后,他无限期的可以支付。那这也不行对吧,那我一直下订单,我不去支付,那那个东西呢。占了库存。不行对吧,这是第一个从业务需求上来说,第二个给你一个时间呢,其实给你一个压迫感,紧迫感啊,不是压迫感,应该是紧迫感让你呢更快的去支付,对吧,因为人呢都比较懒,那你这一次如果超时了,你再想买这个东西,你得重新下订单。重新去。把这个流程再走一遍。
07:01
一般来说大家都不喜欢再走一遍,对吧,肯定是不太喜欢走一遍的,所以呢,呃,给一个时间,诶给你15分钟有这个压迫压迫感。对吧,赶紧就支付了啊,所以那也就是说我们的订单。与订单。与这个订单被支付。他们之间呢,正常来说是允许存在个15分钟或者一个小时,呃,或者30分钟,对吧,这个就看平台嘛啊,假如说我们就按15分钟来。对吧,这个每个平台你肯定都知道,在在不同的平台有不同的方式,然后加了五秒干什么事儿呢?因为我们考虑到网延迟,假如说啊手速非常快,我下订单之后立马就支付了,因为我我可能用的是这个免密。对吧,小额免密。啊,类似于这样,不要不需要输密码的。连指纹对吧,连面容都不需要。免密了,那我就直接呃下订单,然后呢,立马点个支付,它就支付成功了,那这两条数据。
08:03
虽然你操作上有延迟,但是我认为它几乎是同时产生的,对吧。啊,可能他们俩中间不间隔一秒钟,但是呢,我网恋值可能在五秒钟。那有没有可能支付数据先到,反而订单数据才后到啊?有这种可能性吧?对吧,它是有这种可能性的,所以呢,很简单,咱们就直接怎么样。把这五秒加上去啊,所以云总所说的15分钟加五秒,或者30分钟加五秒是这样来的,能懂吧,对吧?好,那这是我们所聊的一个事情啊,那最后呢,还要关联啊,班长回来了对吧。做核酸回来了啊呃,那也就是说这里面还有一个这个支付的一个状态对吧?啊,那这个呢,我们要根据码表把它做什么,做一个关联,那就是最后呢,我们就三张表进行关联,第一个从topic DB当中筛选出支付成功数据。对吧,第二个。
09:00
DW detail当中读取这个下单数据。订单数据对吧,我们取下单也可以啊,你从预处理的那张表里边读也可以啊,但是预处理的那张表去关联的话。你还得过滤出音色的,因为你要不过滤音色的,你有可能会把我们支付成功的这个数据,支付的数据对吧,跟。那个什么,假如说你这个状态改了,假如说他这个退单。你也关联到一块儿,那也没必要对吧,我们就取这个下单啊,注意这个我们预处理的表叫pre all pre对吧?啊,那这个呢,All detail all detail呢,是我们的这张表下单事务表。OK吧,好,那之后呢,关联买搜的一个lookup字典表,还是那个我们熟悉的那个味道。对吧,啊,那把他们三个人呢,关联到一起就好了啊,关联到一起就好了,对吧。啊,那我们要支付成功,支付成功呢是1602。
10:03
因为我们要支付人工啊,因为它有可能是什么已支付状态,对吧,刚开始支付,但是最后呢,嗯,由于你支付。出现问题了,没支付成功也有可能对吧,你发起的支付,但是没有支付成功啊,他也有可能啊,所以呢,我们这个数据呢,取这个更改为1002就够了。啊,更改为1002,那也就是说你要不要写O的。Payment date。Is not known。对吧,哎,那你有可能从那个101601~1602转换的,对吧?啊,你写一个payment states,他那怎么样它。不等于呢。啊,其实可以不需要,可以不需要这个这个点呢,其实在之前我们取消订单的时候聊过这个事儿,对吧,因为这个地方呢,1002代表的支付成功。那对于我们一个订单而言,如果你支付成功了,对于我这个数据啊,对于我支付信息而言。
11:04
对吧,那未来呢。就不会改了。啊,就不会改了。啊,他就不会改了,对吧,就不会在不会再改了啊,对于这个支付数据而言,他未来就不会再进行一个修改了。啊,因为我们之前聊这个取消订单的时候说过,对于我们当前这个取消订单的需求而言,我们的判断逻辑可以有一个条件可以去掉,对吧,大家还有印象吗?就是这个逻辑,我我大家看一下啊。就得取消这个。订单就是我当时说了这句可以干掉,你还有印象吗?就这句。其实可以删掉。还有没有印象?就是这个。可以删掉,Outs in now可以删掉。
12:01
对吧,因为当时我们说了,就是1003呢,是叫取消订单,那你订单都被取消了,这个订单呢,生命周期就走到头了,他不会再更改了,那也就是说你只要这个等于1003,它一定是这一次变成1003的,它不可能再变了,对吧。啊,那同理,刚才我们所聊的这块,所以我们刚才所说的条件呢,诶你就少了一个什么,诶payment就是更改了这个字段。那你可以不写对吧?啊,你可以不写这个字,不写这个条件,这个是没有问题的。好好,呃,那这是咱们所聊的一个点啊,知道这张表就没什么好说的,最后一关联对吧,就好了啊,那这张图呢,其实也比较简单,就是说从首先ods筛选成功支付数据,刚才我们看的就是1602呗。对吧,数据为1002啊大家呢,订单。明细就是下单主题啊,然后呢买表三表关联。
13:00
啊,创建正常的卡,写到卡发里边完事。对吧,完事了啊,这个我们就不点开了啊,这个也比较简单,OK,这是我们思路整理,需求分析,按照思路整理啊,接下来呢,我们就来把这个代码给它拿过来啊,然后之后呢,我们运行一下啊,接下来呢,我们来写这个代码啊,把这个拿过来。还是在DWD上啊,创建一个。对吧,啊,那这里边呢,无非分为这几步呗,我给大家写一下,我把这个注释还是咱们要自己写一下,对吧,我们因为还有相当我们自己梳理完思路之后呢,再整理一遍嘛,对吧?啊,第一步获取执行环境。啊。那这个我注释就不写了吧,我就写在这儿啊,等会儿呢,我们就整体连那个注释粘过来,大家知道一下啊啊第二个呢。因为我们有三张表哈,我们有三张表,呃,支付成功表。订单对吧,包括订单明细的,然后呢,一张卡表。好,那呃,支付成功表呢,得从这个。
14:00
Topic DD里边去读对吧,因为我们没有拆嘛,当时说了没有拆啊,所以呢,首先。读取。DB。数据对吧,Ods原始数据啊,嗯,然后同时呢,B。过滤出。并过滤出是吧,这个支付成功数据啊啊,那第三步呢,就是我们的订单。明细啊,下单主题对吧,消费下单主题啊,用于关联的,好,那第。四步。啊,那第四步,第四步呢,就是。读取被D这张表对吧,读取买被。D表。好,那进行三表关联。
15:07
啊,300关联对吧,关联好以后呢,把它装印起来,装起来以后呢,我们就直接。构建。卡夫卡的一张表就要写出去,对吧,好创建。卡不卡叫支付成功表?好吧,连写智慧成功表啊,那第七步将数据写出对吧。好,那启动呢,我们也可以不要了啊,中间呢,我们也就先。不用去测了,当然你这里边儿有一个点,假如说你想把支付成功数据你单独测一下,其实也可以对吧,你转化为理由测试啊,那这边呢,我们等会呢,可以去测一下哈。嗯,第八个启动任务对吧,我们要测一下的话,我们肯定还是要用这个,嗯,流这种打印,因为好看一点啊,好看一点对吧,好那么第一步。
16:05
第一步呢,我随便找一个吧。哎,我直接把这个拿过来啊。好,那咱们呢,说了是15分钟加这个五秒钟对吧?啊15分钟呢,应该是900秒吧,那就。900。905。对吧,啊905OK啊,那咱们呢,这个状态时间要给一下啊,要给一下对吧,第二个读取topic DB这个呢,倒不用读取,那我们就直接table in点。XQ的口对吧。啊,这些三个语句叫MY。卡发九点。咱们读取的,诶。掏了个D币对吧?啊,然后给一个消费者组。
17:02
还是把它拿过来。前面第道题交易就标了啊。呃,支付成功的。Success对吧?好。把这个呢写上对吧,这我们之前分割好的一个工具类,接下来呢,我们要过滤出支付成功的数据啊,那这里的字段呢,我就不一个一个去找了,我就直接把这个拿过来哈。这是奥detail啊,我们之前先写的奥detail封装这个circle,诶筛选过滤成功了,这个啊,把这个拿过来。支付成功,数据往那一放啊。呃,U ID all ID对吧,把这个拿过来,然后这个呢,咱们应该是PT。对吧,嗯,这个要改一下,注意这个要改一下,我先把这个杠N去掉吧,杠N填换成空格,因为这样好看一点,要不然杠N感觉很不爽,对吧?啊,这个做了一个修改啊,加了一个这个这个注入量啊,这个注入量对吧。
18:07
TS我们没保留TS嘛,之前就说过了啊,这个PT呢,因为我们未来要拿这个数据,要跟这个维表进行关联,所以还得要这个PT字段。对吧,还得要这个PT,然后呢,表明是。Pay没问题,类型的update,然后数据PAYS102OK吧。好,那我们可以对这张表进行一个。打印说实话可以进行一个打印啊,那注意啊,这边我刚才干掉一个TS这样的逗号你干掉。对吧,这逗号来干掉啊,OK,那在此基础上呢,我们可以做一个打印测试啊。嗯,转化为流做一个打印,那就是pay table点嗯,那这个呢,追加流就够了,对吧,图a pen string表呢,是payment in啊嗯,接下来呢。
19:00
点class。点frame啊,我们做一个测试嘛,对吧,那个数据它能不能够。出来啊,他能不能够出来,就是调用我们的数据啊好,那这边呢,启动任务。烟V点对吧,其实这个测试呢,咱不做也可以说实话啊。把这个拿过来。对吧,正常,那因为前面测那么多啊,嗯,来我们,嗯,既然都写了,我们来测一下,看这个结果能不能出来啊,看是不是跟我们想的一样的,对吧,我们这边呢,把这个数据过滤出来,做了一个打印啊好,这是我们把这个。好,接下来呢,我们做测试啊,测试的话呢,咱们就。不自己去造数据了吧,直接用脚本去造一下,脚本的话,那它来自于topic DB。对吧,啊,它它来自于to DB,所以呢,咱们只需要启动这个ZK卡夫卡与这个Maxwell就够了啊。
20:08
对吧,跟那个ods有关系吗?他直接消费的ods,那max要启动就能往ods去写的话。这边我这卡已经启动过了,那我把麦克打开一下啊,CD到D。的DB啊,那等会呢,我们在这边去造数据啊。知道吧,到下提莫啊,把这个先准备好啊,那接下来呢,我们来运行它啊。主要这里边有一个什么点呢,我们大家大家看一下,看这个能不能行啊。好,这边呢,目前来说这个没有问题,当然这个不会有什么太大的问题,对吧?啊,那接下来呢,我们来。
21:02
变形啊,看一下这个支付成功的数据啊,能不能做出一个打印啊。这边是78条,看见没啊,等会我们刷新一下,看这个数据会不会变啊。哎,走完了,走完之后呢,我们看,哎这边有数据了,对吧?啊这边有数据了,那是没有问题的。好,那刚才是78条,因为我们每次都重新造的,应该刷新一下,它应该不会是七十八六十九了。看见没对吧,每次这个数据呢,它会变啊它会变。OK吧啊,这是我们所看到的,就是简单测一下,因为这张表呢,我们之前没测过嘛,对吧,好把这个干掉啊,这中间的一个打印测试,好,那这个打印测试呢就可以干掉,接下来呢,我们要消费下单主题的。数据。对吧,咱们要去消费这个。下单主题数据啊好那。下单主题数据呢,这个比较简单,你直接之前不是写过那个订单明细嘛,对吧,把它拿过来啊啊。
22:04
奥地利。啊,咱们在这边已经过滤出来这个音色的数据了,对吧,那所以接表语句呢,我直接把这个搂过来就行啊,把它拿过来哈。呃。把它。他说C啊,直接我们之前写过的东西嘛,你直接拿过来啊,呃,拿过来了以后呢,这个我就我还保留在这吧,对吧,我还是保留在这啊,大家好看一点,但这个地方呢,得改了,你不能用卡不卡think d dl了。对吧,你要消费者啊,消费者那时候直接盖了淘一个低点要给一个。消费者组对吧,给个消费者组好,那我组呢,用。他。嗯,这边我用它行不行。我一个消费者消费多个。
23:01
主题。当然也可以对吧,啊,就是你同一个主题呢。不要用同一个消费者组就行了啊,你不同的主题用同一个消费者组无所谓,反正这个消费者组会拿到全量的数据啊,如果说你还是比较担心,那你怎么做呢?在这边你加一个什么,诶去消费凹的可以吧,啊把这个加个前缀,然后呢,我们消费凹的数据。啊,那你上面呢,再加一个配,如果是做一个对称的话,对吧,你在这儿可以加一个什么,诶支付对吧?啊,当然这消费者组名字你可以其实随便改无所谓的啊。好,那这个呢,咱们就搞定这张表啊,因为之前我们往外写了,我们就用直接用这张表就行了啊,里面字段的我也都没动啊,直接拿过来的啊,那咱们就叫这个名字对吧,这张表呢,已经有了。啊,这是下单主题的数据,大家这个同理,把它呢弄一下对吧,把它处理一下啊,这个呢很简单啊,那就是table in.circle咱们呢是呃,My circle有酒店盖被D的一个lookup,低调。
24:11
对吧,好,那三表关联。还是正常table in,然后select什么什么东西from这个payment。Info表啊,去装这张表对吧,然后呢,装这张表就好了,这个也不涉及到什么。外连接。对吧,因为你支付表去关联订单,关联这个base DC那一定有数据啊。对关联不上的,那不可能,你也不用说左外。对吧,也不用说左边你都支付成功了,怎么可能没有订单呢,这是不可能的,业务上那如果真的出现这种数据,你给他干掉也行。对吧,这个时候就没有什么意义对吧?好,那就说明出错了啊,说明出错了,那这个呢,我们就直接去拿一下关联三张表,当然这里面字段有的东西呢,可能需要改一改啊,因为咱们刚才所写的。
25:03
是不是修改了一些东西对吧?好,首先呢,把这个杠N去掉,对吧,我们来看一下啊。ID叫奥迪tell ID没问题哦,奥ID,然后我们去看一下我们里边有哪些字段做了调整,对吧?嗯。Province ID ID ID没问题啊,支付方式,然后取名叫payment Type Code,这个没问题啊,D name叫payment type name没问题啊,Source ID啊,Source Type Code这个好像。OD表这个咱们写的是什么?写的是ID,大家还记得?对吧。这个注意改一下啊,这个叫ID啊,因为我呢。来看啊,这。嗯,在这啊,是不是我们写的ID吧,对吧?啊,刚才是扣的啊,所以这个还是要改,呃,类型不用SQ number没有啊,这个不需要的吧,这个不需要的。
26:03
好,那这个不需要的话,那我们有这个SQ number是不是加一个order price这个价格两个就可以了呀,对吧,我们看一下这里面有没有啊,我们应该加了对吧?All the price在这吧。那我们加上C啊。嗯,Price,比如说我就给它加在。加这个位置吧,啊,就加在这啊,这个呢是OD表的OD表price这个string呢,你不要对吧,因为上面建表呢,要这个自带名称啊,这个是加的。它是一样的啊,有不一样的地方呢,我们就给大家标记一下啊,斯利的这个没问题啊,Total。Amount叫payment amount没问题啊,然后PI点。TS啊TS呢是没有的对吧。TS没有的啊,这个字段呢,也不需要啊,暂时不需要啊,暂时不需要,未来呢可能需要好,那这边呢,我们加了什么事,叫删除逗号,因为本来这个是最后一个字段,现在你把最后这两个注意掉,那这就成了最后一个字段,对吧,这边逗号干掉啊,那我还是写上叫删除。
27:10
逗号啊,跟文档当中呢,这个不一样的地方,我给大家还是一样的表示出来对吧,然后接下来去join咱们这张表啊,表明没问题吧,叫DWD啊,或者说你不放心CTRLC啊,表明CTRC给它放在这。好,没问题,然后二。pi.o的ID,哎跟OD点的ID system,然后这个地方呢,它改是PT。对吧,好,那做一个注释啊,呃,这样本来呢,它是pro time,因为我们之前写的是pro time,呃,修改为了PT可以吧,啊,咱们给大家做一个注释啊。然后呢,嗯,Payment time等于这个dic code的没有问题啊,目前来说呢,我们应该都是改完了对吧,这个东西放在这儿呢,是因为我们之前没有去处理嘛,没有去加工这个数据对吧?所以呢,我们SQ number跟all price诶给大家放在一块啊呃,那这个呢,我们创建了一个result table,就结果表。
28:08
对吧,结果表啊,那这个又搞定了,就是读取过滤值,也不是过滤啊,直接消费下单数据以及。码表数据。对吧,呃,之后呢,进行一个三表的关联啊,三表关联。好,接下来呢,我们要做的是这个支付成功表,并把它写出去,OK,那接下来呢,这一步。直接。把这个。拿过来啊,DW trade pay detail。当然这里边儿也有东西需要去做调整啊,首先呢,这个。买卡牌,诶买卡不卡有可吧。把这个呢搞一下对吧,阿色的卡夫卡DL没有问题,CTRLR把这个杠N呢给它去掉啊,去针空格对吧,加这里边有字段肯定要调整。肯定要调整对吧?啊,你不调整不行啊呃,那首先呢,这个扣这个没有问题,然后呢,这个地方要做一个调整,对吧,这是第一个啊,把这个改成。
29:11
咱们要叫ID。咱们叫adsq,这个底下呢,得有一个price。对吧,这个呢,是新加的字法啊嗯,这个是不是去掉了对吧。Roll operator t啊,然后这个逗号去掉啊,这个删除了逗号把这个拿过来。在这个位置。删除了逗号对吧?呃,这个主键呢,其实呃可以不要。啊,可以不要对吧,那加这个主键有什么好处呢?这边跟大家说一下,那你看咱们这个地方也没有用到left draw对吧,就是正常的一个draw啊,那我不要这个主件,我就正常的用卡夫卡DDL写出去。
30:03
卡夫,正常的卡夫卡性格,这里写出去可不可以呢?可以。可以,但是如果加它有什么好处呢?加它的话,它会把相同的all detail idea。放到一个并行度。未来。啊,它会它会放到同一个分区吧,或者说直接放到卡不卡同一个分区,那这有什么好处呢?是为了我们下游驱虫有好处。啊,这个我就提前跟大家说一下。为了下游去虫有这个好处。OK了啊,所以呢,你也不用说太纠结这个事儿,其实未来呢,我还我还告诉你啊,呃,就是这个东西。哎,这个地方不需要删除了,对吧,因为这已经有了一个,还有一个primary key作为我们的。结尾对吧,啊,这个不需要了。其实这个磁段呢,未来我还得给他加回来,也是做驱虫的啊,但是最早的时候没写嘛,当然我们统一去加啊,统一去加啊,现在就不聊这个事儿啊啊,那我们看一下这里边还有。
31:05
什么东西?漏掉的凹,这又是ID对吧,看有没有没改的。Come。叫payment Type Code,这个没问题,我们是当前这个查询里边改的名字对吧?嗯,Name combat source ID。Type ID,哎,这个改了对吧,把它扣的啊s price啊,Spli。没有问题。对吧,这就搞定了,然后呢,往这个主题里边去。写数据啊,那咱们呢,这个表有了,然后呢往外写啊,这一步呢,我们就直接也拿一下了。把它拿回来,因为这个两张表都已经确定了,我们就直接insert into这张数据就好了,对吧?呃,那这个呢就可以注掉。啊,可以注意量,你不注意量呢,它又多一个警告,他会告诉你说你这个东西啊,没有这个操作,没有留的操作,对吧,他会有这个警告啊,因为咱们加这个东西呢,是因为中间我们做了一个。过滤。做了一个打印对吧,做了一个打印,做了一个过滤之后做了一个测试啊OK了啊呃,那这个就。
32:08
搞定。啊,这个就完全都搞定了,对吧,将数据写出啊。好,那我们要对它呢进行一个。测试。啊,测试的话呢,我们还是一样的,先呢,把整个的数据流跟程序我们先写一下,然后呢,我们知道要写哪些个内容,对吧,那我们这个地方呢,它消费了下单数据的。主题,所以很简单,我呢就从下单当中把他这个整个数据流给他干什么搂过来。往那一放对吧,然后在这基础上呢,咱们是不是又往后再进行一个。消费啊,但是这个消费呢,消费两个就不太好写了,对吧,APP他呢,既消费了ods topic DB就在这儿对吧,它如果你要画的话,应该从这引一条线,然后呢,从这个位置一条线。
33:09
对吧,啊,因为呃,那这这块呢是预处理表,这个呢是下单表,这个是topic DB,那我们现在呢,是不是拿着ods这个过滤数据以及下单。做关联啊对吧,你得这样画,那这个就不太好画了啊,咱们呢,就接在这后面写就行了啊,继续往这后面写对吧?弗APP,然后呢,呃,继续放回到我们的卡夫卡还是谁呢?DWD层I dwd层好,那只需要再加一点东西,在谁呢?加他自己这个茯APP其实就是他自己最后呢。那不还是卡夫卡加?ZK嘛,对吧,所以我们清楚了我们要开的东西啊,那首先呢,呃,ZK卡不卡已经开了对吧?Ma ma so开的麦二呢,刚才已经开了,因为我们都做过测试了啊呃,那接下来我们要开的就是这三个在I idea里边的程序第一个。
34:04
预处理。下单以及他自己。以及他自己。对吧,好,那么接下来呢,我们来看一下啊,刚好这三张表我们放在这了啊。首先,预处理表来运行。对吧。啊,因为订单表呢,是消费的这个预处理表。接下来呢,是这个订单明细。是吧,那个订单明细。呃,第三个呢,是这个支付,但是这个呢,我们最后改的东西我不确定啊,有可能有的地方没改没改掉对吧?啊再运行一下,因为前面我们是测了那个单独的支付成功那个数据没有问题啊,但是不确保这后面这半段关联之后建表他有没有字段没改对吧?有可能有的地方呢,疏忽了,有可能啊,那我们来运行一下才知道啊。哎,还真有是吧,呃,Time哦。
35:03
那这个地方应该有又多了一个pro time对吧,我忘了改了啊,我看一下。PT字段。哎啊这啊,我当时是为了写这个注释,所以没改对吧。对吧,还记得吧,我准备改这个PT的这注释都写好了,但是呢,没改啊。啊,做核酸,嗯,那没办法,你去吧。来我们把这个重新运行一下啊,这个呢,我都写了注释了,但是呢,后来我又撤回是为了写这个注释,所以没改掉对吧。好,现在看来的话应该是。好像没什么问题了。没毛病啊,没什么问题了啊,那接下来我们就直接去造这个数据,我们来看一眼哈。来。呃,对,在造手机之前呢,我们还得搞一个消费者啊,如果不搞消费者,那这次白测了,还得重新测啊。消费者。
36:01
去拿一下这个东西。CD到OD Mo看不到。然后呢,我们拿一下这个主题对吧。主题呢叫它。支付成功的一个主题,对吧,那我们消费者好,接下来呢,三个内容都开了,我们直接。运行对吧,看一下最终呢,我们这个位置有没有数据就好了啊,主要测这个点啊。等这边做完。走完了,诶这边呢,也有数据了啊里边呢,这个都能看到关联上了,确实关联上了,对吧,OLID的ID有了,ID都有了,SQID和SQD都有了,对吧?因为支付数据里边是没有这个SKID的。没毛病吧,啊,支付数据里边是没有的,好,那这个呢,咱们就。搞定啊结束对吧,这是我们整个的一个测试啊。
我来说两句