00:02
呃,那我们想啊,这个数据呢,来自于我们的d wm Mo,所以这个数据流呢,我也不用刻意的怎么去一点一点去想了,很简单啊,怎么做呢,直接拿到我们这ally的APP,把它上面这个东西拿过来。CTRLC拿过来。然后呢,我改了对吧,放在这上面。然后呢,做一个修改M,然后接下来是link APP给他写到clickhouse对吧,那这边当前的弗Li ABB,那必然是几对吧,好click house。啊,那现在我们打印啊,那跟house没关系,过会呢,我们再去说house的事。对吧?啊,那这一套东西呢,我们买so开启的Mo DB等会开啊flink CDC要开啊,卡不卡,那集群当中东西我没有关,注意集群当中所有东西都在对吧,我刚才并没有关集群,所以这个时候集群当中的东西是最全的,对吧,我就不用管了,不用管了啊,那么接下来呢,我们就开这个弗林格CDC啊第一个。
01:19
哎,这边只能存五个对吧,那我们俩我们就直接到这来ods弗林CDC打开。有的东西我给它干掉,Base log不要了,Base DB肯定要的,对吧,这个打开。呃,然后呢,Payment we这个不要,然后out打开。对吧,三个吧,应该就是三个啊来看嗯,第一个。Li CC被DB,然后out加自己对吧,四个啊前面呢,前置条件是三个啊。
02:00
好Li CDC呢已经打印这个信息了,这边建表语句打印了,说明它已经启动完成了,Out out呢没有什么东西,对吧?然后呢,运行这个province states啊看一下,首先运行一下,看这表语句这块有没有错啊,如果运行直接报错了,那我们再调一下,看一下create time。他说不知道我们这个字段对吧。哦,No,那我们这样把这个拿过来啊,对,加一个,因为他不知道我们这个字段,那很简单,怎么做呢?在我们建表语句里边,这边是根据这个create time来生成的,对吧,所以呢,我们得把这个字段弄过来。它呢是一个私类型。啊,这是第一个问题对吧,这块啊,这是第一个问题,我们来看啊,那可能还有问题,因为电表语句当中,我们完全是按照这个字符串拼接的,对吧?特别是这一块啊,特别最后有可能我拼的有问题啊,那没关系,他如果说接表语句都有问题,他会直接报错对吧。
03:02
我们多等一会儿啊,等他一个校验。好,那这个时候接表语句应该没有问题了,至少过了对吧?啊,至少过了行,那我就可以造数据了啊造数据了行,那这边我造个数据。DB,好。大家说我们的这边会不会有数据啊,弗Li CDC有数据了,对吧,这个没有问题啊,贝CD也有数据了,有卡夫卡的也有这个的啊呃,然后outb订单表宽表也有了,看这个维度信息也补充上了。那大家告诉我这边会不会有数据啊。
04:14
有没有?我们等下去会不会有数据啊。我们等的时间已经挺久的了吧。有没有数据,大家想一下会不会有数据?嗯。没有为什么。因为主要这个地方注意一下,并不是我们任务有什么问题,而是。
05:02
这个地方造数据呢,我们造一次就完了,不接着造了,不是像这个什么行为,数据里边一直在造,对吧,这个造一次就结束了,造一次就结束了。对吧,啊,那怎么办呢?我们注意这个时候已经隔了十秒了吧,我再造一次。因为我们是根据事件时间开窗的。对吧,啊,那我mark刚才造一次呢,我马都一样,它不会触发窗口的执行,那我第二次造了,来看这边怎么样有数据了。对吧,数据就来了,而且呢,数据都是对的啊这边。对吧,这个这个不用担心啊,这个因为我们用的是这个disma,但写到Phoenix的时候,我们也会用到disma,对吧?对应的它会自己会精度做一些处理的,对吧?这个你不用操心,那这个就搞定了,所以要注意一下,做这个测试的时候要造两次数据,而且造两次数据呢,你造数据的时间还得是什么。间隔十秒以上才可以。
06:03
OK吧,间隔十秒以上行,那我们顺手呢,把这个写一下啊把什么呢,这个地方我们测完了,今天还好,我之前有时候写这个S课的时候,有的班讲课的时候,里边这个字符站拼接的时候一堆问题啊,就有时候就拼接的出出问题了啊,那还好就一个问题对吧,好写了一个create time诶这个地方。我们实践时间是根据这个create time来生成的,所以我们得把create time把它拿过来,也得查出来才可以,对吧,是这个意思啊行,那这边呢,我们就可以I think。Clickhouse。点think,然后传一个S进来啊,那这个S呢,我们首先要去见秒了,秒对吧,拿过来我把这个改一下吧。我直接在这改一下了。然后呢,我再给他改回来不就完了吗?这边倒第一个对吧,Go tables,然后leg拼from。
07:09
Always,手表,呃,那这样吧,我们还是看着心吧。那新的话也看不全对吧,得用接的工具啊,看到新那这个数据搞在这啊,然后接下来我们看这我们的数据字段。一定要看一下,确保一下啊。是不是跟我们并一样,如果一样我们就不用管了,我们的招聘在这stt province ID,然后呢,Name code so code 3662code,呃,All the amount all the count,然后TS。KS在这啊,没有问题,好,那这个地方看一下啊,呃,比方说这几个字段。是不是名字不一样,那我问一下大家,这个没有问题。
08:06
以前我们都是名字一样,也就是说招聘和表的字段名字是一样的,这个地方呢,它不一样,大家想一下有没有问题。不会有问题,为什么?因为我们是根据位置来的,还记得吗?我们直接负I循环,根据位置来的,跟它的名字没有关系吧,对吧,只要这两个人的位置一样就行了,顺序是一样的就行了,对吧,跟其他东西没什么关系啊,要注意一下对吧,就是这个事情,那我们对比了,顺序确实一样。啊,确实一样对吧?好,那接下来呢,我们数一下有几个字段啊,把这个名字表明,再拿一下吧,看谁拿过来啊澳门数几个字段,Insert into,然后呢,VALUE2。
09:13
那大家也同样思考一个问题,如果说我们的顺序不一样怎么办呢?假如说我们招聘和建表的这个顺序不一样,那怎么办呢?对吧?可以思考一下这个问题。边几个。是五个字段,然后呢,这也是五个十个字段好。1234,哎,这中间。前面两个,后面三个五个对吧,好,我把这个复制一份。往这一放十个那就搞定了啊下来呢,我们再把它打开,然后呢做一个运行。Province state运行啊。
10:06
那这个时候我们是不是还要造两次数据啊,才能看到结果,对吧,造两次。就说哎,不对呀,你上一次造的那个不是没出结果吗?不应该接着消费吗?但是注意我们没有做checkpoint,也没有从checkpoint的恢复。对吧,那肯定还是消费最新的数据啊好,那我们稍微等十秒以上才可以啊,等十秒以上。等十秒以上呢,我们再造数据就可以触发当前窗口的一个执行了。稍微多等一会儿啊,现在是34~44吧,到44的时候我去造一下新的数据。45了,行,那我再造一次数据啊。那这边我们看一下。
11:01
有数据打印了对吧,两次啊,那更重要的看这边。哎,也有数据了,对吧,那这个就OK了,只要我们看到数据,数据呢,对不对,我们可以在这来看到吗。对吧,那这块是没有问题的,好,那这个就搞定对吧。行,那我把这个停掉啊。
我来说两句