00:00
好,继续,呃,那这个呢,我们是写了一个Li,它的join的一个案例测试,那这个刚好可以应用到我们的订单表和订单明细表,对吧?所以呢,我们先要回到我们的需求,把这两个的桌先写好,然后才会去考虑关联我们的数据对不对啊,关联我们数据好,那在这里面呢,我们要写代么?第一部分啊,要去写这个all in for跟all detail一个招聘啊,那我们把这个拿到首先拿过来。啊,这个呢,我们就关掉了啊all,然后呢,在这个地方我们去写这个,并包下迎来了第二个类。Job class对吧,叫out in for,那这个out in for里面字段大家想一想应该要写什么?Out in当中的字段。我们要根据谁来啊?
01:06
对,其实就是来自于my circle的表吧,啊,所以呃,因为这个东西呢,我要从文档中摘,所以大家自己要去想一想,如果到了生长环境当中,你怎么写。对吧,因为我要从这个地方去粘一下啊,去粘一下OK,我把这个拿过来。好,那这个东西就有了,对吧,就有了,然后呢,我们这里面有几个扩展字段啊,扩展字段呃,那这三个。这三个,因为表里边并没有这三个东西啊,一个是create data,一个create,一个是create ts啊,但是TS呢,我们是要保留一下,TS是要保留一下,因为TS呢,我们可以生成时间戳更方便一点。
02:00
生成时间戳获取whatmark呀,对吧?我们双流join嘛,我们说了要提取实现时间,但是这两个其实可以不要可以不要,呃,那为什么有这两个呢?是我们直接把这个Spark streaming当中那个out in for那个招拿过来复用了,对吧?所以就保留这个字段,那我们也去补充一个字段,这个也没关系,对吧?其他的这些东西都来自于MYSQL。都来自于MYSQL,好,那最后这三个字段呢,都来自于这个就好了。对吧?You create time,因为这个create time它的格式是什么?YYYY杠杠DD。它的格式是这个对吧,所以第一我们可以获取到时间戳,第二可以获取到年月日和小时,对吧,这个啊,大家记得在SPA里边我们做的那个叫分时统计啊。对吧,分式统计就这个意思啊,在这好,那这个是all in for,我们就做这些解释,第二个我们再来一个招B,叫all the detail。
03:09
对吧,叫这个all detail好把它呢。也拿过来。啊,那这个呢,也来自于这个买色克当中对吧。把这个整过来。对吧,就搞定了,搞定好以后呢,我们接下来就可以写我们的代码了。叫Y的APP对吧,在我们的DWM层。呃,那这里面呢,还是一样的,我们先写代码的整体思路啊,第一步获取。执行环境啊,第二个。读取卡夫卡主题的数据啊,读取卡夫卡主题的数据对吧,两个主题啊,一个是DW d in for,一个是DW the detail啊好,那接下来呢,步第三步啊,双流join啊读取这个主题数据,然后我们做一设计啊呃,转换并。
04:20
转换为Java并对象and提取时间戳生成water mark。对吧,好,然后接下来呢,做双流招引,双流招引好以后第四步。就是什么关联维度信息,我们是不是有很多维表的关联啊,比方说用户表对吧,等等的这个地方其实它是最复杂的,最复杂的在这对吧,好,那关联好。维度信息之后是不是将数据写入卡不卡?啊,再写回到卡关里边,然后之后呢,第六。
05:03
启动。任务对吧,启动任务就这事情好,这是我们整个的一个思路,这个思路上有没有问题。这个没问题吧,啊好,那接下来呢,第一个获取执行环境,我就直接去拿一个,随便挑一个就行了。好,把这个拿回来。接下来读取主题数据对吧,那这个呢,我也从这我把这个拿来。好,呃,一个DW in for DW detail,然后呢,DWM还有一个消费者组,对吧,那接下来Inv.IS叫MY卡U。
06:05
刚才他把那个。那all in for source topic,然后呢,步白对吧?呃,接下来呢,点map做一个转换,那这个是一个来。呃,这个line呢,我们先要转成这个找对象对吧?那就是拿到jason.pass object,因为它是一个Jason字符对吧?然后呢,是一个let,这边呢放all的in for.class好,那这样的话我们就得到了一个all in for,最终呢,把all in for要做一个返回。哎。最终把all in for做一个返回,对,但是在这个中间呢,我们还要补充字段对吧,那这边呢,补充字段啊,补充字段的话,首先我们要提取all in当中的。把他的create time。
07:00
Get create time把它拿到对吧,这个呢,我们之前说过它是年月日十分秒啊,年月日十分秒,首先我们要create time点嗯,Split按照。空格切分对吧,得到一个data time a,好,那接下来呢,是all in four当中的set。Set什么呢?Create data等于data time a中的。第理位对吧,因为按照空格一切分啊,然后接下来是all in four当中set create over over对吧,那就是第一位啊第一位,然后再按照。冒号切分。啊,十分秒嘛,冒号切分,然后取第一位。没问题吧?好,那来了又一个simple。Date for much,然后YYYY-MM-DD对吧,然后空格H号。
08:02
认为得到一个SDF啊,那将来呢,是all in。点set。PS。Create ts对吧?呃,要给一个时间,那就是SDF点。Pass解析解析谁呢?Create time。盖菜。对吧,啊,做这个事情好了,然后呢,获取时间,然后返回这个all in for,这个没问题吧,啊,然后呢,我们提取时间出啊。我strange啊,那这个地方呢,我们还是用这个,呃,正常的顺序就好了。Info。这里边呢,用element.create。这一块有没有问题?
09:03
这个我没有慢慢墨迹的去写了啊。对吧,很快的把它写完了。这块有没有问题啊,应该没问题吧。就是封装一个招聘,然后提取这个时践时间删l auto mark对吧?啊,没什么难的啊,那这样的话我们就得到了一个ctrl out加V啊,得到了一个all in for的一个DS,而且呢,我的B已经提取好了对吧?呃,那这来还有一个是all,还有一个是in.at source叫my YouTube.get consumer,然后呢,是all detail的一个D,同理map一行数据对吧?然后呢,把这一行数据接。点pass object把这个烂编进去。然后呢,是all。点class。
10:02
诶,不是out detail。好点,Class。对吧,做这个事情好,那得到了一个all the detail,那同理,我们就看一下all the detail当中有没有,哎,也有一个谁呢,这个create。啊,也有一个他要做处理对吧?呃,所以呢,这个呢,我们来写一下啊,首先取出all the detail当中的create time,得到create time,然后接下来这一步啊,我就直接把这个拿过来了。设置值create ts,最后呢,返回我们all detail数据。对吧,然后继续。我的妈。这边呢,就给的是all the detail这个类型。接下来我们提取它的一个时点,时间全ma。一样的,用的是element电干擦。
11:03
Create ts,好好,那这样呢?同理我们就得到了一个all the detail的一个TS。对吧,两个流呢,我们就获取到了啊,你就用了一个map,把这个转换成招聘的一个对象,然后接下来呢,嗯,把它。提取时间戳生成我们的wordma对吧,这一步呢,比较简单啊。
我来说两句