00:00
呃,咱接下来呢,把这个做一个测试,那我们数据呢,来自于topic DB对吧,所以呢,我们要开的东西就比较明确了啊,我们先把它开一下啊。ZK卡夫卡。是不是就够了?大家告诉我对吧,啊,等会造数据呢,我们自己去造啊,咱们自己去造啊。呃,那这边呢,中间我们做一个测试哈,呃,这样我把这个呢。为了方便看一点啊,我把这个转成流去打印啊,将数据将这个表对吧,加构表转换为流B等于测试啊,嗯,Table因为点。和pen追加流就够了,因为这肯定不涉及到特回流对吧?啊,那第一个呢,给一个表,那咱们是cut at table啊,然后这个边呢,我们写一个肉,因为我们也没有这个。招聘对吧。
01:04
啊,点class啊,然后呢,咱们做一个打印点。Print对吧,咱们做一个print啊,最后呢,这边做一个启动啊,嗯,你不启动肯定不行了,因为这是流的方式打印啊,那为什么我们要用流方式,那也就是说你直接拿这个表table去print,你连这个都省了对吧?我告诉大家为什么,因为这里面字段比较多,如果说你用表打印,它是不是会显示表头啊。大家记得吧,它就会显示好几行,就看着这个字段就对不起来,对吧,我要转化为里我打印的,嗯,就会更好看一点。结果就会更好看一点,能懂吧,还是这个意思啊好,那接下来呢,咱们。来把这个系统啊。ZK点。
02:08
Star。啊,Maxwell。对吧?诶,那我们把这个相关的内容都写一下啊,等会呢,我们就手动做测试就行了啊,不用非得把前面那个开起来去做测试啊,因为这个中期测试我们只要数据流我们代码写的没问题就好了,对吧?数据流测试呢,放在最后统一去测啊,现在呢,这个就搞定啊,搞定好以后呢,我们把这个任务提起来啊。诶还真有问题啊,那那我们看一下啊,来正好看看报错,嗯,应该是什么符号问题啊,我看到这个uf就知道应该是符号问题。这是哪S解析失败就证明我们S写错了对吧,然后呢,是哪个S这个对吧?嗯,他说803个字段,那这个还不好数了对吧?呃,我们看一下,他说在第一行,第一行那它是整个识别成一行啊呃,我们看一下啊。
03:11
是不是哪个字段逗号啊,或者什么东西没加哈。他没有报字段错误。Data。Idz ID。我看一下啊。Well from这张表,Well。Database。好像最后一行少了一个右括号是吗?呃,我看这啊,我看这。这个括号啊到这对对对对啊,陈总说没问题啊,这少了一个括号就少了一个括号啊在这啊,因为当时我是直接写的,写了之后直接往下移的。对吧,你看刚才这个没有括号的时候,我放在这儿,你看这儿有一个橙色吧。
04:00
这个块对应的是它。对吧,好,那这边呢,加一个这个括号,哎,那这橙色对应的谁啊。对应的这个了啊,没问题啊,就少了一个括号啊。对,这少了一个括号啊,那刚才报这个uf就是少了一个符号啊,就是少了个符号,所以我刚才在检查什么逗号啊,什么东西少了对吧?啊,那这个参总提示了,那就直接运行一下啊,因为像这种字符站拼接啊,有时候确实容易少一个什么逗号啊。空格呀,括号呀,你你看不出来,有时候你不太能看得出来,对吧,你得让他报错啊好,那感觉呢,应该是搜个解析,至少是过了对吧?好,那接下来呢,我们来运行啊,我们先加一条数据啊,加一个数据叫32984,咱们就顺着这个加号,那就2442啊,然后呢,加一个15号商品吧。啊,价格随便啊,2345啊SQ给一个。
05:03
三啊,我们就先给个三啊,然后呢,这个地址。就就随便啊啊,就其实给不给无所谓,反正会被过滤掉啊,那SQ number,比如说我就随便给了啊,Check这个就不给啊,时间给不给也无所谓,说实话啊。202杠零五杠二零啊12:12:12随便给一个,后面呢,我想想看,就我要不然就不给了吧,对吧。啊,或者你要给的话也行,那就跟他一样呗,给对吧,嗯,这个呢。2401啊,这个呢给一个。一可以吧,随便啊保存一下,接下来呢。32984重复了啊。啊,它有很多页,看见没啊,这加构有很多页啊,所以应该是第二页,那无所谓吧,这个重复了还不简单吗?你再给我重复看看。
06:03
对吧,总不会重复了吧,反正我们自己测的数据好无所谓对吧?啊,咱们俩随便加一个啊好,那这个让我们自己加的这个比较长啊,来看这边能不能打印,哎,这个数据就来了啊。对吧,它里边呢,有很这个A。这个A啊,注意是那个SQ name对吧?啊,那中间有个值没给嘛,就那值啊好,这个呢是一条数据,接下来更重要的,我们把这个数据改一下啊,它呢是三。添加的三对吧,2345后面跟着三啊来看啊,2345后面三是SQ number吧,那接下来更重要的呢,我们要把这个三呢改成一个五对吧,好来保存。好,又新增力量,主要这是二吧。看这变成二了,没毛病吧,对吧,说明咱们的代码没有问题啊,假如说你未来工作的时候真的是这样。他可能会修改这个number,那你也没关系,直接怎么样。把这个也过滤出来了。
07:00
OK吧,啊,那么中间呢,做一个测试,因为这样我们就更放心一点,你比如说刚才一个括号,你最后还得发现这个问题,对吧。好,那这是我们所说的过滤出我们要的这个数据啊,呃,第四步呢,要读取my circle的base DC表作为我们的lookup表。对吧,那这张表呢,我们之前是写过的。而且我可以告诉大家,这玩意儿呢,咱们是不是也可以。放到工具类里的。对吧,我们也可以放到工具类里边,因为你不光有架构。需要用到这张。D表啊。那我订单里边有没有订单状态呀。对吧,那订单状态是不是也会用到这个。Dic表你想对吧,那其他的有支付有支付的状态吧,是不是也要用到这张表。啊,那我是不是跟姐妹一样,我搞一个。通用的呀,对吧,搞个通用的,而且还得考虑到什么呢,通用的你不要这样写啊,嗯,你不要直接。
08:07
这其实我们有对吧,我把它拿过来啊。那通用的我就直接把这个字符串对吧,给它放到我们的工具类里边可不可以呢?当然可以啊,但是你得考虑一个问题,那除了被dic这张表之外,那有没有可能有其他的表也能做成一个?Lookup表呢,那也就是说跟刚才我们写卡夫卡那个DD一样,我是不是可以把这个跟这个整体。做成两个方法呀。能明白吗?对吧,那对于他而言,我呢,传什么传这个。表明进去,对于外层的一个方法而言,我去见表,把这个呢写清楚。能明白吧,对吧,所以呢,这个因为我们已经写过了,而且呢,我我如果从这摘还麻烦对吧,这这有很多这个双引号啊,就比较麻烦,那咱们呢,嗯,我们就直接从文档当中,我给大家粘一下啊,其实因为我们已经写过了,这个是一点一点敲出来的啊,在这个代码那啊,所以呢,会有我们下面这个。
09:11
创建MYSOU的一个工具类啊,在这里边呢,我们就构建这个方法啊,在这边再来一个叫MYU的一个工具类啊呃,把这个呢拿过来。两个方法。啊,我多粘了这个啊。对吧,呃,这个呢,直接。这样啊好,那把这里边呢,嗯,看杠N呢,还是去掉成为一个空格啊,这样只要看数位,然后杠N呢,看着不舒服啊好,那这里边有的要改啊,有的要改。这个呢是直接获取,所以让这个表明直接。写死了对吧,表明在这啊,那这个呢是传一个表明,你可以构建自己表明啊,那这样呢,我们得加一个杠211126,因为之前这个问题就解释过,文档当中呢,就是为了统一性。
10:11
是为了统一性对吧,所以呢取的是末啊,那我们每个班呢,可能就不需要这样啊,我们就直接写这个啊。好,那咱们这个就搞定了,当然你有可能要改这个啊,000对吧,这里面呢,我们加了这个catch,我们加了这个catch,因为我们数据呢,几乎就不会变了这个码表对吧,如果你考虑变化呢,你可以不加啊,可以不加,每一次呢都去查对吧,也行啊。好,那这个呢就解决了。对吧,其实这个还是比较简单的,因为我们已经写过了啊呃,Type step time step这两个呢,用的是时间戳离的时间类型对吧,也行啊,我们之前用的可能是类型对吧,但是这两个时间其实没什么用啊,我我就告诉你了,没什么用对吧,这里边就用他俩。啊,其实你要把这个删掉都行啊,那人都保留着吧,万一未来有的需求要用呢,我们也不提过这事嘛,对吧?好,那我们要加载这个微表啊,这个就好写了,我们就直接这样。
11:10
呃,Table,因为点XQ的circle对吧,叫my circle。幺九。点get被加C的一个lookup底对吧,那么那样的话,咱们lookup表也已经。搞定了。对吧,也已经搞定了,这个还是比较简单的啊。呃,接下来呢,我们要关联这么两张表,对吧,Table,因为点啊,Circle query。啊,这个query对吧,好,那接下来呢,我们就关联这两张表啊,那就关联这个呗,对吧,和这个。对的。啊,这张表呢,我们给你拿过来,主要用的就是这两个字段啊,我就拿这两个字段就够了,把这个拿过来啊。
12:03
表明的有。对吧,表明的有啊,就拿这个字段就够了啊,我们尽量的取我们要的啊,拿少一点对吧。好,这个是表明,然后呢,有一个呃,Dic code,一个dic name啊,当然这个code跟谁关联呢?是这个source ad。来看啊,就最后这个地方。这有个SOID啊。啊不对,跟那个搜太太类型啊,这个叫24010204对吧,来看啊这张表。212121开头的在2401对吧,呃,用户查询啊,用商品推广是什么。怎么样导致你去添加的购物车对吧,来源啊,就是source type对吧?啊来源啊,那有这些东西,当然这里边呢可以添加啊,随便啊好,那这个就知道了,我们接下来呢,这个circle就可以写了,怎么写呢?来say let。
13:03
先不写这个from。哪张表啊,From咱们的这个表,咱们这个表叫什么名字,咱们假如说就叫cut in for,这张表可以吧,就叫cut in for,或者说呢,我们为了区分加一个table。啊,到时候呢,我们再取一个表明啊,然后呢,这个直接用join就行了,对吧,Join咱们的叫base dic这张表啊啊。啊,这张表呢,我们取个别名叫CI表可以吧,这个呢,咱们叫dic表。啊,取个边名,那CA点谁呀。Time。啊,要跟谁比?Dic这张表的。Dic扣的。对吧,跟它进行一个关联,好,那这里面的字段呢,三四对吧,啊四个,呃,那字段呢,很简单,还是用这个字段。
14:01
还是用这里边儿这个字段。对吧,啊,但是呢,这个搞得乱七八糟的就不好去取了,对吧,不好就取了,那咱们怎么办呢?还是从这取一下吧,对吧,因为CTRL2加。Shift啊,在这取一下,然后按住ctrl shift ctrl c,把它拿过来。把它拿过来对吧。先这样写一下啊,等会儿呢,这个逗号啊,什么东西你咱们再处理,继续把这个字段呢处理一下,首先这儿呢,我刚才把这个删掉了,你要注意你删了什么东西,你要记得这个呢,我们先删掉。对吧,这个什么图片的地址,Image ul这个地址呢,不要啊,如果你没删,你可以放着OK吧,好呃,这个东西有了,接下来呢,对,还有一个东西,还有一个谁呢?还有一个DC name对吧,把它拿过来。啊,放在这对吧,我们就叫d name啊,那或者说你叫这个叫source type ID,取个别名对吧,然后这个叫source type name也行,这样可能会更贱民之意一些,当然你去不觉命名完全在于你自己。
15:09
对吧,完全在于你自己啊啊,那这个PT段呢,其实就可以不写出去了。对吧,他呢是辅助咱们工作的,怎么辅助呢,在这把这个拿过来。不是t.PT对吧?是谁呢?是ci.pt关联为表的时候要带上这个字段,对吧?所以最后呢,PT字段就不需要了啊,那从主表当中呢,咱们拿的这些字段,然后呢,我们的维表当中拿了一个diic name就是这么一个字段。对吧,就拿了一个它好,那接下来呢,我们就可以做事了啊啊ctrl out加。这个1234CTRL加右加。
16:05
逗号对吧,最后一个逗号,注意把这个删除掉对吧,或者说你就只选中前面这么这么多也行啊嗯,那。一般来说呢,咱们最好这样来写。这个加一个CI点对吧,把这个呢改一下DC点啊,这样的话你就知道哪张表来的啊,但是你要觉得这个不爽啊,你你把这个放到最后也行,我是干什么事呢,就他俩。是一套对吧,把它放在一起啊,所以呢,我们就改个别名,怎么改呢,这个我就叫source type。ID啊,这个呢,咱们取name。可以吧,哎,咱们这样改一下可能会更舒服一点啊,他俩呢是一组是一组变量。OK吧,它俩是一组变量啊好,那这个呢,咱们就写完了,这个招引还是比较简单的一个draw引,对吧,没什么复杂的啊啊,你主要搞清楚你有哪些字段啊就行了,CTRLC。
17:09
把它拿过来。往那一放,CTRLR。把这个替换掉。对吧,那这样呢,我们两表关联就写好了,看到大家V啊,得到一个什么呢,叫cut。啊,或者说with啊,With Di table对吧?啊,那我们这样写的中间还差一步,差谁呢?就是我们这张表根本没有啊。你看有这张表吗?根本就没有,那你表叫什么叫?他吧,叫他啊,那不行,那怎么做呢,很简单啊,嗯,咱这样这个呢,肯定未来要注射掉的哈。这个未来肯定要注释掉,那怎么做呢?这边很简单啊,叫table in.create time view,这个东西我们之前写过吧,对吧,给个表明,那这个表明呢,就有它啊,叫cut。
18:06
在这写对吧,好,那这个呢,用card ADD。Collective对吧,这个就好了啊,那咱们的表明有了,在这边呢,能够去使用了。对吧,啊,那这个事情呢,就。解决了啊好啊,那咱们这个就。搞定了对吧,关联就关联完了,关联完之后呢,我们最终要把这个数据写出去吧,对吧,写出去的话,我们肯定要用DDL方式去构建这个表了,啊创建这张表了对吧?好,那这边呢,还是一样的table,因为点。XQ的circle,我们再去建一张表,这张表呢,用于是做think操作的对吧?好,那咱们呢,这个就很好写了,怎么写呢,叫create table啊,比如说呢,咱们这张表就叫DWD_cut a,我就叫这个名字呗,你know怎么地对吧?好,然后接下来呢。
19:05
子弹。给定这个字段对吧,好字段的话等会再给啊,嗯,最后呢,应该是这边啊,注意加一个括号对吧,括号里边呢,添加字段,加字段后面呢是with。是不是还是要给定卡夫卡的主题服务地址等等,这些东西都要给定的。对吧,啊,咱们都要去给上好嗯,那接下来这里边怎么写呢?还一样的,这不有吗?对吧,拿这个字段不就好了吗?Ctrl out加啊这样CT out加shift。往那一放对吧,嗯嗯。Shift加。左加右加右啊C拿过来。啊,当然有几个字段我们要改啊。首先这点不要了。这个名字跟这个名字是不是要换掉对吧,注意我们取了别名了啊,你肯定要用它了。
20:03
这个叫type ID啊这个呢叫type name对吧?好,那这边呢,搞定control。到家。Shift。往下拉。加什么呢?1234空格对吧,加一个双引号,然后呢,CTRL加U啊然后呢。翻译号。反引号在空格加类型词缀对吧,这是我们说的统一啊,然后最后加。逗号。你见表嘛,接表语句肯定要有类型啊,对吧,所以我们都用了思辨类型,还记得这个东西我们是不是统一了。统一为string类型的,对吧,如果你前面是转成in的类型的,那你就这写一个in的就好了。能懂吧,啊这意思好,那这个就。搞定啊位这个东西呢,一样的,对吧,我们就完全可以写谁啊写那个。
21:05
来看C啊,当然这个建表语句对吧,把这个拿过来啊。呃,往那一放对吧,再加上叫Y。卡夫卡YouTube.get卡夫卡的一个DDL,诶给一个主题,给一个消费者组,对吧,那同学说诶这个不是往外写吗?他应该是生产者啊,你怎么搞一个什么消费者组呢,对吧,那这样我这样行不行,我这空着不写可不可以?对吧,我就空着,我就给一个这个,比如说啊,这个就叫DWD啊,啊xxx我先这样写啊,等会儿咱们去拿一下,因为它的这个比较长比较长啊,我这样写一下,那我往外写,我这空着不给消费者组可位啊。注意这个是可以的啊,这个是可以的啊,就可以共用啊,就是你如果说你拿着这张表呢,去查,你看啊,你构建了这么一张表对吧,用这个get卡DL用这个方式呢,呃,构建了一张表topic DB,如果呢,你写的是什么select,然后from topic DB,那么它就作为source,如果你写的是什么呢?比如说table,因为点。
22:19
你写的是insert into?哎,你呢,用的是音色的into,那么它。即,即使是同样的这个字段,它用的是think的作用。啊,它启用的是think的作用,OK吗?能听懂啊,当然你要觉得这玩意不爽对吧?明明我是think,然后呢,你写一个god。很不爽,那怎么办呢?我们可以改一下,把这个改一下对吧,所以呢,最早的时候这个工具类啊,有两个方法,还有一个呢,叫get卡不卡DDL,其实就是把消费者组干掉了,我给大家拿过来啊。
23:00
来,我给它放在一起,对吧,这个东西放在一起,还有一个叫get think,把这个呢拿过来啊。这个呢,还是叫卡宝搜对吧,其实最重要的呢,就是把这个消费者组给他干什么。干掉了。Group ID给他干掉了而已。对吧,啊,然后呢,从哪读scan.start mode概念,因为你是读数句嘛,对吧,那我完全可以不传,我也可以用啊。对吧,只不过说你这两个参数对于我伸展着而言没有意义而已吧。能懂这意思吧,好,那这边呢,既然我们有了,那我们就直接叫这个叫GA sing,那这个就可以不要了,对吧,可能大家觉得呢,这样更舒服一些啊,那你没没要的,没必要的呢,你就不写了,对吧,所以这个呢也给大家去。准备了OK了,也准备了啊好,那这个建表语句搞定了,接下来呢,就这个啊,嗯,往这张表里边写我这个主题呢,我去拿一下啊。
24:09
主题呢叫DW看啊,加了一个交易域啊,然后呢,Ins色into这张表select新from啊,咱们哪张表呢,从这张表里边去读对吧,这张表呢,你可以这样,应该怎么写呢?来看啊。加这样写也行。懂吧,因为它是一个变量,如果说呢,你想写在里边,那你怎么写呢,你得这样在这边构建一下啊。Table烟点。Create view对吧,这个地方呢,你把它拿过来。我就叫pic table。你把它拿回来这样写。啊,然后这你就该写什么了呢,写这个,把这个放在里边,这后面呢就不要了。
25:03
啊,当然了,我可以复制一份对吧?嗯,下面呢,还是保留这种写法啊,这个呢,注量这两种其实都可以哈,都可以。然后接下来呢,这个就标了对吧,一个呢,是写在字符串里边,你一定要创建这个临时视图对吧,另外一个呢,你直接用变量,你用加号直接加这个变量,也可以把它拼接这个。朋友吧,啊,也可以做到这个事情。啊,是这样的一个效果,懂吧,好好,那最后呢,启动也写了,好,那么这个呢就搞定了,对吧,这样,呃,那这个东西呢,我得请一个消费者去消费这个数据了,对吧,因为中间呢,我们没有打印,当然了,你可以把这个表把这个表。做一个打印也行对吧,这个打印呢,中间我打印的东西都干掉了啊,我就不要了,对吧,我直接呢去消费它啊,来CD Mo到那个卡卡啊消费。
26:01
把这个消费者的命令啊,拿过来回撤啊,同理啊,那你们运行的时候呢,他可能还会有一个警告,说你这个主题不存在,我这是没有的,对吧,因为我这已经用过了这个主题,我再强调一下啊,后面可能就不说这个事儿了啊好,那下来呢,嗯,其他服务都是开的,那我们先。运行啊。先看一下我们后加的这个so有没有问题啊,就是如果他不报错,哎,还真报错了,我看一下啊,他说no operator DeFineing。好,那对。嗯,少了一个什么最终的行动操作啊,就是少少了这玩意,好,我们加个print就好了啊,加个print OK吧。他给我们一个警告,你最好呢,有一个最终的操作,他能够把这个数据可以去执行,对吧,写出啊呃,那这个呢就起来了,他没有报错了,那接下来呢,我们就造点数据呗,好看再添加这么一条啊嗯,往前翻。
27:12
往前翻啊,那这边呢,我们随便啊,反正这个数据呢,应该不存在2442。嗯,15这个随便写啊,2345对吧,是一个是先是三啊。时间给吗?给不给无所谓了啊,然后重要的是看能不能关联上啊,这个2401 2401好像是什么,忘了无所谓了啊,就2301啊,然后呢,保存。来看一下这边的有个数据,诶有数据了,对吧,2401呢,是对应的是用户查询。啊,你看啊。就关联上为表了,对吧,2401,诶确实用户查询吧,对吧,就关联上了,那我们就达到这种效果就够了,对吧,接下来呢,你可以看一下修改,现在呢,这个SQ number是三个。
28:02
对吧,它是三个啊呃,那咱们呢,把它改为五啊。三再改一个八吧啊,再改一个八改成八啊。保存保存之后呢,它应该是五。对吧,因为由三变成八的一减是五没问题吧。对吧,啊这个呢,还是正常的关联啊,都会关联,但是我加了catch,它就会从catch去。读这个数据的。对不对呀,没毛病吧,啊这意思啊,好,那咱们这个就搞定了。啊。
我来说两句