00:00
啊,那咱们呢,还是把昨天所讲的内容呢,做一个回顾啊,其实虽然我们昨天呢,完成了这个第九个需求,同时完成了第十个需求,但第十个需求呢,是相当于我们对前面知识点的一个。复习对吧,再敲一遍,诶总结一下啊,回顾相当于这样的一个东西啊,那我们第九个需求呢,才是我们最核心的,那更重要的里边呢,就是关联维表对吧,首先呢,写的这个JDBC工具类查询这个JDBC的数据库对吧,那那么第二个。啊,就是在于我们做了两个优化对吧,第一个优化当第一个盘缓存啊,咱们用的red,至于为什么用,我们也聊清楚了。对吧,呃,那另外一个呢,我们用了这个ebo的方式啊,而且ebo当时我们看到它呢,除了。它有两种方式对吧,第一种呢,就是用这个eboo的客户端,就是你呢这个数据库,如果本身带这种ebo IO这个客户端,就是说你这个客户端呢,可以同时发送多个请求啊,你不能叫同时发送多个请求,就是什么意思呢?就是你第一个请求。
01:12
没有结束的时候。你可以发送第二个请求。对吧,诶,它应该是这个样子啊,它应该是这个样子,这个叫异步客户端,对吧?当然除了这个异步客户端之外,咱还有一种方式,就是说你可以创建多个同步客户端,那所谓同步呢,就是说你发送了一个请求,你必须要拿到这个返回值以后。你才能继续发下一个请求,对吧,这种呢,我们可以把它称为叫同步的一个客户端,你得等着啊,那我们可以创建多个同步的客户端,并且呢,用多线程的方式去使用这多个客户端。对吧,那这样的话,你一个客户端确实同同一时间点呢,呃,只能发送一个请求,但是我有多个,我同时有多线程。
02:01
那不用这一个客户端不就好了吗?对吧,如果只有一个客户端,那不行,现在呢,我有多个,那这个问题就可以解决了,对吧?是这个意思啊好,那这是我们所说的A这样的一个需求。对吧,用eboo啊,那呃,最后呢,我们就把这个实现了,当然他们写的比较复杂,因为我们采用的是这个泛型的方式,因为泛型的话,你后续就不用再写了呀。对吧,没必要写那么多了啊,你比如说我们第十个需求。我们是省份力度下单需求。那如果之前没有写成这个泛型,而写的是用户PU。那就不好了。对吧,你得再写一个,到第十个需求,你就再得再写一个,这很麻烦,当然你这个东西你说效率上提高很多吗?也不是对吧,就是你很麻烦你开发的东西呢。
03:00
就很麻烦了,你效率其实没有什么提升,对吧,因为你写成一个泛型的类型。你两个需求它会被调用两次,对吧,那你写这个。独立的。我每个扎,我自己写一个。对吧,那这个时候呢,他照样还掉用两次。啊,那是你代码冗余了,相当于对吧,所以呢,有时候我们在考虑这容我们代码的一个提取啊好,那这是昨天我们所到的东西,那后来呢,我们又写了一个省份力度下单那个需求表,对吧?这个就比较简单了,把前面内容呢做了一个复习总结就好了,对吧?好,这是我们昨天所讲的东西啊,那这个也是早上给大家说的,在假期当中呢,像第九个需求一定要回过头来自己再尝试的去。写一写啊。好,那我们接下来呢,看下面一个新的。需求对吧,叫品牌品类用户力度退单个窗口的。
04:03
汇总表。啊好,那这里边呢,维独有品牌品类拥护。那用户呢,我们更多的用用户ID对吧,本来就有了,但是这个品牌与品类在我们退单里边有没有呢?我们来看一眼对吧?诶我们找到退单,那肯定要从DWD去找这个退单表吧。嗯。退单啊,这个是退款。就退款对吧,然后找一个退单,诶咱们就写了这个是这是取消订单啊,这是取消订单,呃,那这个退单啊。对吧,这个是退款对吧,这是退款成功的啊,这个是退单啊,退单就这个。好,呃,那我们来看一下这张表里边我们的内容。对吧,啊,从DWD来取这个数据嘛,啊,最终呢,在这个位置,首先呢,有这个UID。
05:05
对吧,诶用户有了啊呃,接下来呢,有这个SQD。啊,那我们呢,可以不要这个。叫什么?这里边儿呢,有品牌品类用户对吧,用户力度有了,然后我们找品牌品类,但是呢,我们好像看到有一个SKU,那就算没有品牌品类也没关系了,对吧,因为有SKD,我们就能找到品牌与品类的这个。ID对吧?啊,然后promise ID这个是日期对吧,这个其实没什么用啊呃,创建时间对吧,这个可以作为我们的实践时间啊,实践时间对吧?呃,然后呢。这是退单的理由啊,理由具体的原因对吧?啊,然后退单的数量总金额啊,类似于这样的东西啊好,那咱们要求什么呢?呃,在这里边很明显我们叫关联微表,因为只有SQID对吧,没有这个品牌品类啊,所以呢,很明显关联微表啊啊然后接下来呢,我们要干什么事呢?我们的退单数据。
06:11
哎,要知道它是怎么来的,对吧?啊好,那在这个位置。还是一样的,我们看一下这个退单数据啊,退单数据呢,首先。它本身对吧,嗯,从这个地方读取topic DB啊,然后接下来呢,读取这个退单数据,退单数据呢比较简单,就是音色的数据好了,然后呢,让我们要读取这个订单数据表,然后呢要update诶1005这样的一个数据,把它读过来,所以呢他呢也不需要有这个。也没有用到这个什么left join对吧,这边呢都用的是。Join啊,所以他也就是一条数据嘛,对吧,嗯,也不用做去重了啊,也不用做这个数据的去重。啊,这个驱虫指的什么意思啊,就是由let join产生的类似于这样的重复数据,对吧?那你要关注于前面那没有,那我们就不需要做这个驱虫,所以呢,我们更重要的是读取每一条数据之后呢,将这个数据呢,转化为我们想要的这个招聘。
07:13
对吧,招聘里边呢,我们要统计这个,嗯,订单数啊,或者订单金额啊都行,对吧,当然这个是退单啊,退单数以及退单的金额对吧,要关联为表,那这就是里边做的事情,其实呢,跟我们上面。所说的还是一样的一个需求,对吧,且呢,我们这个维表信息呢,有这个什么。Name name name name对吧,还有这个一二,KDY12,那实际上呢,我们本来想的应该是什么,应该按照这些个字段进行什么。分组,但实际上呢,由于我们知道你呢有K3,那你二跟一其实都是确定的,所以呢,我们只需要根据user ID。开这个三的ID以及ID进行一个分组,其实就够了。
08:05
对吧,啊,本来呢,我们要根据这些个字段做分组啊呃,那我只根据这几个字段,好处在于什么呢?我们可以。先关联SKU表,然后呢,读取到这几个信息,先分组聚合,聚合好以后再去关联为表,这样的话减少读取数据库的次数,提高效率。对吧,还是我们前面所说的这个点啊,那未来呢,大家找工作的时候去关联维表,如果有这种操作,你也要注意一下这个事儿,能不能做这个事儿。啊,你就关注一下能不能做到这件事情,如果可以,那你一定要这样做,因为我们访问数据库的次数就减少了。对吧,你先聚合再。关联为表。啊,那我们为什么先有的SKU表必须要先关联,那没办法,因为SKU表里边儿有我们要的分组条件,如果你不先关联SKU表,你没办法做分组,那也就没办法做聚合了。
09:11
对吧,那这个肯定。不得行。啊,这个肯定不行了,对吧,所以呢,我们还是一样的,先关联一个与分组相关的表,提取这个字段啊,也就是我们的SQ否对吧,那之后呢,再去关联就是分组聚合,开分组开张聚合以后,对吧,再去关联我们其他的为表补充这个与分组不相关的。字段啊,与分组部相关的字段对吧?好,这是我们所要的点啊,当然呢,这里面还是一样有这个。流程,那我们再搂一眼啊,因为毕竟代码呢是昨天写的了,对吧,今天呢就不一样了啊。睡了一觉呢,可能忘了,那没关系,我们再过一遍吧,对吧。
10:04
消费这个退单明细主题的数据对吧?呃,接下来呢,直接转换这个数据结构啊,那转换成我们的。招聘了对吧,因为他也没有做什么去,也不需要做什么去虫啊,因为刚才我们分析了对吧,好,那之后呢。补充与分组相关的维度信息,换句话说就是SKU音符对吧?补充trademark的ID以及开这个三的ID,接下来就是分组啊,分组就是我们刚才所提到的哎,U的ID的mark ID跟开这个三的ID对吧?所以这两个你要先分组开张聚合好以后。再关联维表,补充这个其他的维度信息,对吧,诶可以。最终写到。Click里边对吧,这就是我们整个的一个流程比较简单啊,也相当于对前面我们所学习过的知识点呢,做了一个。补充。啊,也不是补充吧,就是说再巩固练习一遍啊,所以早上有同学问,诶,那DWS只需要敲一遍嘛,对吧,其实也就够了,因为虽然DWS敲了一遍,但是这里边呢,我们设计的需求有好多内容呢,是互相。
11:16
知识点是有重叠部分,它不是每一个需求都是一个独立的知识点,因为我们在敲整个地道两层的时候,对于有些核心的知识点本身就在这种反复的使用当中,对吧?啊,就是你虽然敲了一遍,但是是整体上,如果说我放在一个需求来看,诶,他可能就敲了好多遍。能理解这个意思吧,啊。好,那么接下来呢,我们开始写这个代码啊,但是这个建表呢,由于我这个环境没开啊,那我们先还是不创建啊,昨天测试的时候开始没上店,最后呢,在那个测试的写出的。四个里边忘了写这个表明了对吧?啊,今天呢,我们注意一点啊,不要忘了,然后这个扎B可以拿过来对吧,拿过来啊。
12:05
嗯,咱们的。最后一个招聘了啊。现在呢,这一个类就少一个了,这一个类就少一个了啊,拿过来。啊,当然呢,这个里边我们也用到了这个B的注解。啊,也加了这个B的主体,OK吧,因为我们里边呢,最核心的求一个退单的次数啊退单的次数OK吧,还是一样的窗口时间的维度信息对吧,然后呢,你退单的次数呢,你肯定要用到all ID去重,还是一个all set。所以还是前面那个知识点对吧,SKD啊这个呢不写出去,但是呢,它是我们的辅助字段,因为只有有它这个字段才可以将。维表信息关联进来对吧?啊,U在ad啊,然后呢,这单次数加一个实戳,哎,那这个就搞定对吧?啊,这是我们的照B啊,接下来呢,我们再写这个主程序还是一样的,我把这个拿过来哈。
13:05
到我们的DWS,也是我们最后一个启动内容,当然是我们当前这个实时出仓,那后面呢,我们可视化里面其实还有这个。启动了呀,你得还有还有代码对吧。但是已经不属于当前这个模块了啊,这实时分析的一个模块啊,可视化的是另外一个模块对吧?好,那这个东西呢,我们还是把这个思路先整理在这对吧,第一步获取执行环境啊。然后。读取。卡不卡?DWD上。这个。退单。主题数据对吧,好,那接下来呢,将这个数据转化为我们要的。
14:00
招聘对吧,将每行。数据转换为Java b。转化为招聘以后呢,我们就可以去做关联维表了,对吧,我们可以读取表信息啊。关联维表啊,那它这个这个维表呢,当然是SKU。为表对吧,补充哪个字段,一个是TM。ID以及。CATEGORY3的。ID对吧,我们要的就补充这两个字段。好,呃,补充好这个字段以后咱们就可以做分组开窗聚合了,对吧,好。分组开窗。去,那这里面比较简单,是因为这个数据呢,前面都用的draw,它没有这个什么,呃,数据需要做这个驱虫对吧,那分组开窗去合学完以后呢,我们再关联。
15:09
为表啊,又管理表补充。分组不需要的啊,补充这个其他字段嘛,其他信息字段对吧,好,那补充好以后呢,我们就可以将数据写到耗对吧。要将数据写出到。最后。啊,最后呢,我们要去启动这个任务,对吧?啊最后呢,我们要启动这个任务,好,那这边呢,咱们就。搞定啊,这是我们整个思路整理对吧,接下来呢,我们就按照步骤把这个写一下啊,因为对于目前来说呢,我们已经相对来说比较熟悉了第一个职业环境。
16:02
拿过来啊,那第二个读取这个退单主题的数据对吧?好,那这个主题呢,我得去拿一个啊,在这边把这个主题跟这个消费者组呢,我们都拿过来,然后接下来。And south。点getli卡consumer对吧?嗯,Topic传来groupd啊,那这样的话呢,我们就得到了一个卡夫的DS。啊,咱们就得到了一个卡夫卡的DS。好,那。这个呢,就搞定了消费数据对吧,好,那接下来呢,转化为我们的Java病。对象,那这个很简单了点。Math。对吧,这里边呢,是正常的一行数据,诶,是一个LA啊,然后呢,我们要把它变成一个招聘对象,首先呢,呃,因为我们是一个string,所以呢,我们先用杰森把它转成杰森对象,因为这样的话我们好取数据啊,对吧,我们才好取数据啊,R加位得到一个杰,最后呢,我们要返回按照我们写的build,对吧,所以呢,我们可以用这个。
17:14
构造者啊,来做,那叫trade。叫trademark category userfund b对吧,好点build用build。然后呢,在中间补充我们所必须的字段啊,那有哪些呢?我们想一下啊,首先SQID肯定要的对吧?呃,其次什么user ID需要的。对吧,还有什么呢?呃,一个all的ID set。这个也是需要的啊,那当然还有一个TS。对吧,那我们要的是不是就是这些的字段对吧?嗯,SQID的可以补充我们的。
18:01
CAT3以及trademark ID ID呢分组字段。对吧,TS呢,是未来我们提取事件时间要用的,Outside呢,为了最后求订单的总次数,那除此之外还有其他的一些,你比如说这个,那必须开窗之后才能有的,对吧?呃,然后接下来呢。这个名称还有这个CA12这些东西那都要关联,为表补充啊,第二次补充信息对吧?呃,那奥赛有SKD有了,U的ID有了,诶这个com的呢,先写不了,最后呢,统一做对吧?TS有了,那我们必须的几个字段就这些呗,对吧?第一个SKUID啊,那我们看一下SKID在我们的这张表里边叫什么对吧?DWD啊退单啊退单。这个。在这张表里面呢,那就叫SQID对吧,好,那直接。省点get叫Su。
19:01
ID对吧?啊,接下来呢,UID看一下叫什么user ID呢。就叫UD对吧,哎,就叫UD啊好,那jason.get string叫U,然后all s,咱们这个还记得怎么做吧,在这边创建一个。How she said。咱们那还叫凹?Ids对吧?啊,那最终呢,把它是要放进来,那你这样放进来是空的,没有什么意义,对吧,那我们呢,肯定要给它添加一些内容,从这里边我们要提取出叫订单ID给它放在这儿,那我们找到all的ID在这。对吧,哎,往这儿一放。之后呢,把它写出去,那就STSGM提到了,在看这张表的时候对吧?呃,那么TS它用的是create time,咱们那就用它来做这个事情,对吧,Create time好。那这边呢,就是date for ma.to ts,然后呢,从Jason object里边去获取,叫Korea。
20:06
It time这个字段对吧,转换一下,当然呢,我们加一个to,诶因为create time呢,它是这个年月日加十分秒,它是一个全的。对吧,啊,那这样的话呢,我们的。转正招聘就搞定了啊,那你要把握住这个核心的字段就好了,对吧。加V,哎,得到了一个叫trade。Trademark。嗯。这个我们写成TM吧。叫category user。对,不用取那么长的名字,好,那这一步呢就搞定了,这是我们消费并转换数据结构,那接下来呢,我们要关联SKU为表,补充这个t m midd与这个开这三的ID,对吧,那还是一样的,用E步IO。
21:00
数据流加。On audit无序的等待的方式就行了,对吧,那我们刚才呢是trade t category user DS啊,然后呢,去用一个叫d nasnc的一个方式,这里边写的就是这诶这个东西啊,当然了,它有一个参数哈,嗯,按的奥加回车实现两个方法啊。好,那么这块呢,是我们还是写一个100对吧。100秒啊就搞定了,那接下来呢,我们这里边儿要取得,因为我们要关联SKU for对吧,那就是DF。SKU。In。啊,DMSKU对吧,关这张表,然后我们关这张表的时候,那必然要用到SKUID对吧?好,那这边呢是input点。Get。SKUID啊然后呢,补充这个信息,补充两个嘛,一个t midd,一个三的ID,这两个呢,我们都清楚,就叫这个名字对吧?啊,我们之前关联过啊,那就input点。
22:08
TM。嗯。啊不叫T,叫trade曼的ID啊好,那这个从for当中点get string啊,然后呢,TMID啊,然后呢,Input点叫的。ID对吧?啊,从D当中点get string啊,然后呢,叫。CATEGORY3。ID对吧,当然这个地方呢要注意。大写啊。好,改成这个大写啊,要不然的话,你设置之后它又是个当值了,这样就不好了,对吧?啊要改成大写,那我们要补的就是这两个字段对吧,这是补充这个维表信息啊。
23:00
嗯。就叫trade with。这个SKU。对吧,啊,这是关联了SKU表。啊,关联了SQ表吧。那接下来呢,我们要做分组开窗聚合,那在这个之前,咱们要先提取实件时间甚成曼对吧?好,那这边呢,我只是没有写在注释里边,但是大家呢,要知道有这个事儿啊。还是给一个两面这边呢加几个泛型。好,那在这边呢,继续写啊。咱们呢,之前。有写这个T斯范,诶,这是。提取实践时间什么我接下来呢,分组可判对吧?啊咱们呢,要按照有三个字段进行一个分组。
24:06
对吧,U的ID开这个三的ID加TMID,所以三个字段咱们呢,嗯,用一个。Three对吧,用Li这个包下啊,就是Java的好three。好,这个就搞定啊,那接下来呢,我们继续把这个写完啊,它是又一个top three啊,然后value.get user ID value.get叫trade mark ID,再加一个value.get category。三的ID对吧,就是这三个字段作为我们的一个分组。条件啊,那我们搞了一个top three,那分组搞定,接下来开窗,开窗呢就比较简单啊。
25:03
还有十秒的窗口啊,最后呢,聚合对吧。由于要补充这个窗口信息,所以呢,咱们还得有一个。方向。对吧,那我们把这个一步一步写完啊呃,接下来就这这一步里边呢,我们看一下我们的聚合指标,其实就这么一个推单次数,但是现在呢,你还给不了,也就是说我们这里面实际上就把这两个合并就行了,Y61跟Y62它合并对吧?好,那我们呢,直接返回这个。一最后呢,在这个位置。这个叫。对吧。诶把它俩呢放在一起,然后呢,返回Y61这边呢,还是我们那三步对吧,首先呢,从input输入数据当中呢,获得咱们的这个数据本身。
26:04
好,那接下来呢,补充这个信息对吧。先是TS。啊,T。嗯,继续点三叫。ET,对吧,这个结束时间,嗯,For my点。年到年十分秒啊,window.get end对吧,然后。Said。Window点。Get啊,同理还有一个东西别忘了啊,就是。次数啊,总次数对吧,总次数呢,我们应该从这个里边去取。电。Size对吧,最后呢,返回这个结果啊,那就是out.connect for the b诶那这一步呢,就。
27:04
搞定了啊,咱们就搞定了,对吧。看看二加V对吧,得到一个reduce最终聚合的一个结果啊,这是我们在这边补充了这个维表所需要的这个信息,对吧?好,那之后呢,按照我们补充的信息之后呢,重新去进行一个分组开窗。聚合,当然在这个之前呢,我们先提取了事件时间是中国的B,因为下面呢,我们还是根据事件时间它的窗口对吧,在这。失电时间开的窗口不了。呃,接下来呢,补充其他的为表,补充这个字段对吧,那有哪几张表呢?首先trademark表,我们要补充这个trademark name。好,那开这个三补充开这个三的name和开这个2ID,然后呢,开这个二补充开这个二的name和开这个一的ID,再接下来关联开这个一补充它这个一的name对吧,还是一样的,之前我们都写过了啊,那就reduce点啊不是应该是。
28:08
异步数据流对吧,然后呢,这边才能写我们的什么。Reduce d。第二。招聘的类型呢给一下,然后呢,表明这肯定要写的二加回车实现呢,有两个方法对吧,那继续啊在这边。100。啊,咱们呢,还是给这个。100秒对吧,好,那这块呢,咱们就搞定。啊,那没搞定啊,那接下来呢,在里面来写啊,咱们的微表叫什么。还是一样的,咱们来打开看一下,不能写错了。我记得应该叫DM对吧。叫dim下划线啊,中间有下划线分割的。
29:04
而找到这个table这张表,呃,Trademark他,哎,就是叫他对吧,把它拿过来啊。往这放,注意大写对吧,接下来呢,我们要去防这个input里边,那当然是慢文张表input点。Get trademark ID对吧?将来补的那当然就是trademark name啊,就是input叫trademark name get点。Get STEM,哎,他呢叫name吧,刚才我不知道大家有没有注意啊,它就叫什么,哎,它不叫name,还写错了,叫TM name。好,注意。大写对吧,注意大写啊,好看,加位得到一个reduce。Yes。With。Trademark点对吧,好,那这个东西搞定了,搞定之后呢,那接下来三张表呢,我们可以一块来写一下了,还是第步数据流点A的位置对吧,那咱们呢,这个数据本身是with worldmark,然后接下来是有一个点。
30:14
A的一个方向里边呢,还是。这个对吧,然后接下来呢,他二压回车实现两个。方法对吧,那接下来这边是100秒,把这个直接拿过来吧。没有好,那这样的话,我们看到二加V得到一个reduce with。三。我就叫三啊,就是大家知道开里三对吧,好,那我把这个呢,复制一下啊,复制一下还有两份对吧,就是关联三关联二关联一啊,但是呢,我们得改一下啊,我们得改一下东西啊,因为他写吧,写完之后再改啊在这个地方,那我们要关联他这位三这张表对吧,他这位三这张表呢,叫这个名字。
31:04
大写啊,然后呢,我们要取的就是input.get category3的ID,然后呢,要补的是二,3NAME加二的ID对吧?好,那在里边input.set开这个三的name。啊,加宁波的店。Saidard?ID啊,咱们要补的呢,是它们俩啊,那in for.get three啊,这边呢也同理点get。对吧,那开这个三的name来,它就叫什么就叫name啊,同时呢,开这个二的ID叫一个开这个二的ID对吧?然后呢,它就叫name啊,那注意都要大写,不大写又会出现long值对吧?好,那这个就搞定了,搞定好以后呢,注意看啊,把这个三。拿到这来,因为逐级向下传,这个呢,就叫。
32:00
二对吧,二好,那把这个往这一放,这个呢是关联,二这张表,然后。取的ID呢,你看啊,直接复制过来取的ID呢,是二的ID对吧,然后接下来补的字段呢。不。二的name加一的。ID加一的ID对吧,好它叫它,然后接下来呢,把它一复制放在这逐级往下传对吧,这个呢,我们取名叫位一点。啊,那下来呢,表明。关联的是被开这个一这张表,然后呢,我们这边啊。Category。一的ID,那它呢,就没有什么,呃,其他的再往上关联了,因为它已经最后一个了,对吧,所以呢,我们只需要补充一个。一的。Name。啊,就够了。
33:02
对吧,诶怎么变成这样了啊,对,咱们只需要补充一个一的name就够了。没有什么零的ID了,对吧,没了啊,就这样,那我们的这个类型呢,也都改了,大家一定要注意一下啊,你不要写错了,这写错了呢,你可能就最后与数据没关联上了,所以像这种东西呢,要小心一点啊,那到这一步为止呢,我们所有的维度就关联好了,对吧,逐级去关联,你看啊,当年呢,我们就关联我trademark这张表,我用的是原始的内容对吧?关联CATEGORY3这张表我用的是关联trademark以后的,那同样的。关联二是用关联三以后的,关联一关联二以后的啊,那最后呢,这个就是所有维表都关联了,对吧,你得逐级你不能说诶都对着这个reduce DS进行关联,那所有的都在这个reduce DS里边了,对吧?那不行啊,他拿过来啊接下来呢,我们就把这个数据写到playhouse啊。我们做一个简单的打印啊。
34:01
前置呢,我也不打印了,因为我们已经。开这个二补充开这个一的ID。哦,这。啊,这个地方忘了改了是吧,再看一下啊,这个是。三二。211没有啊,对了啊行,那接下来呢,是reduce with1的点点。Think对吧,I think啊好,那这边呢是my click9点。Get function啊,然后呢是insert。Into。Y64括,诶,那这边呢,我们去数一下到底有几个字段对吧,我们对着表数更方便一点啊,因为那里边呢,还加了那个什么注解啊,那不好,呃,这边呢是。五个到这五个吧,呃,再到。这是不是又是五个。对吧,234个加一个啊,五个,然后这是三个,那就13个字段对吧,13个啊。
35:05
嗯,咱们就敲三个啊。敲三个线。诶。咋回事啊,这个感觉有点问题,呃,这是三,这是。六九十二对吧,再加一个啊13个,然后表明呢,诶我这次不会漏了对吧,从这我就赶紧把这个表明感染了,诶给他赶紧拿过来啊放起来,这样的话就不容易丢这个表明了啊,容易丢东西啊,因为点excuse对吧,启动。好把这个。反过来。好,那这块呢,我们整个编码就搞定了,这是补充其他的为表将并且呢,将数据写到click house对吧。好,那它的测试呢,是这样,因为它来自于这个退单主题对吧,所以呢,我们就从这个主题谁往里写从谁拿对吧,好,那把这个。
36:09
拿过来。往那一放。啊,然后咱们来看一下这里边要看的东西啊,嗯,首先呢,我们把这个追加一下,把这里的信息补充上。到我们的课列号,这是我们的DWS层啊好,那接下来这边呢,是弗ABB,当然是他自己啊教这个。再接下来呢,是我们的。他所依赖于这个。ZK啊,它所依赖于这个ZK对吧?好,那这个呢搞定,那接下来我们看啊呃,ZK卡夫卡mawell my开启了对吧?麦ZK卡夫卡没有问题啊呃,那这里边呢,要关联为表,要注意一下它呢东西比较多一点。对吧,啊,它这个进程要多一点,要什么呢?因为关联微表,首先呢,我们要用到这个Phoenix。
37:07
以及这个。对吧,特别的这个Phoenix本身呢,它还依赖于。而又依赖于HDFSZK吧?对吧,哎,那这个里边看着好像就这么一个启动类,但实际上它所你要关联的。这个程序还是蛮多的,对吧?啊,那我们就开啊,啊那我就知道了,其实就是业务数据这边都得开一下啊,那开进程啊。把这个服务打开。好,那咱们先开一下这个AFS,因为毕竟他要准备推出安全模式对吧。
38:01
然后呢,咱们再继续,呃,其他内容呢,都要依赖于这个CK的,对吧,把它提一下。ZK,看不看啊?而且可以找我买。对吧,啊,当然这个已经写了,OK,把那个号提起来。CCL。So。号so对吧,然后这边呢,我们去号杠client-M啊,我们把这个准备好,Use末小玩意二。11126对吧,用这个库,接下来呢,把这个金表语句一定要。拿过来啊,嗯,表明记得写了,等会呢,把这个金标语句漏了那也不行对吧?好,那这个playhouse就开了啊,接下来呢,Ready吧啊,还有这个phoeni斯对吧?啊,那我们先去看一下red啊,或者这个时候呢,我们也可以把这个谁呀启动一下啊。
39:13
诶不是1010,先是9870对吧,推出安全模式,那我们呢,先在这个地方也可以先启动这个H,因为也需要加载一会儿嘛,它启动会慢一点啊,那这个留着呢,开这个Phoenix就行了,这边呢,我们去看一下这个red啊。点com啊好,那接下来呢,我们把这个进入它的一个客户端。好,那没有问题啊,这边呢,我们艾已经开了,因为而且我们又过了这么一会儿对吧,应该就没有问题了啊,我们就直接去菲hoeni克斯去启动,看一下这个Phoenix能不能正常使用。
40:13
应该是没有什么问题的,因为我们都过了这么久,对吧。Table OK啊好,这边呢是red,那我们留一个。内容来造数据啊,等着这个造数据对吧。看一下我们的进程都在啊,对吧,你检查一下啊,包括ma这是master对吧,Reading so reading so,三台没有问题啊,因为我们非X都能正常访问楼对吧,在这边。都能够去查这个就没有问题啊好,那这边呢,我们要准备造数据啊,那我们就dblo。对吧,先放在这儿啊。那我们。集群上的内容都开了,对吧,你要检查一下麦克有了ZK,卡夫卡有了对吧?嗯,那这个ZK卡布卡有了,在这里边hoeni斯启动了对吧?那IDL肯定不是说ZK。
41:10
也没问题,P了一下对吧,House开的表也见了啊好,那我们这边要去启动的内容就有哪些啊,首先就是它。All the reform对吧,就是他然后呢,他自己就这两个类啊,他呢不需要预处理嘛,所以少一个对吧,DM呢,我们可以不开啊,可以不开,因为我们今天说了,嗯,我们呢,没有这个维表数据发生改变,除了这个用户,但是我们这里边有没有去关联用户为表,对吧,所以就不需要啊。
42:04
嗯。好,那这边就搞定,然后接下来呢,我们去造数据啊。加吧。涨价?做完了,做完之后呢,我们来这边啊,当然了,由于我们这里边开窗了。对吧,啊,由于咱们呢开窗了,所以呢,他这边是没有数据的,那没关系,我们呢,在等这个十秒之后再造第二次数据,对吧,之前的数据这个是37分37秒啊,对于37秒这个数据而言的话,其实我们。可以。我想看啊,等个十秒也不用等十秒了,对吧,因为它wordmag是42就够了,因为它37的话,它属于这个30~40的一个窗口嘛,对吧,其实你只要过42就行了,也就过五秒就够了啊,但是一般来说我们等十秒是最保险的,对吧,来再造一次啊。
43:15
看数据会不会有问题?诶,那这边呢,数据就出来了,对吧,数据就出来了,而且呢,我们能看到这里边儿数据呢。全的对吧?嗯,大家一看就知道,诶,他没有那么都是这个正常的数据对吧,没有那说明我们所有的维表呢,也都补充完成了啊,那最后呢,到科这个科列号这边对吧,来看一眼这个数据啊。谁来呢?Count。新啊,因为这资段比较多,我就不查资料星了,资料新看着比较乱啊,我们看一下有没有数据就行了啊。因为刚开始创建的表肯定是空的,现在31条啊,那我们可以给大家讲一下这个数据有没有丢啊,2C2F,诶31条数据也没丢,对吧,那这就没有问题了啊,你要想多一点数据,你再造一造就行了,OK吧,这个呢,咱们就搞定了啊,咱们就搞定了,OK吧,好把这个关掉啊。
我来说两句