00:00
好呃,那现在呢,我们集群当中的东西基本上都已经开启了,对吧,接下来呢,我们就把这个开启一下,首先第一个是CDC,我记得是这个一啊。我们开启一下这个弗Li CC。之后呢,我们再去启动当前的这个base DD对吧。嗯。对了,大家有事还是不要乱跑,松江好像又确诊了一例是吧?大家知道吗?松江好像又确诊了一例啊,不要,不要到处乱跑。出门一定要戴好口罩啊,无论去哪,对吧。
01:09
好,那接下来贝斯DB啊,我把它开起来。然后呢,我们去看一下。那我们这个库里边儿。Real time这个库对吧,表table process我们看一下啊,这个当中呢,咱们是不是有这个卡不卡呀。有这个DW out info吧,有它对吧,那这个地方呢,我们是ad的ad对吧,就这两个数据那就行了呗,好,那这个是我们的主题名称对吧,那我们去搞一个消费者。啊,我们去搞一个这个消费者去消费这个数据。卡C拿过来,然后呢,这边c DOD Mo到卡卡。好,呃,那么咱们的这个主题名字叫dwd forr c拿过来。
02:07
走我们消费当前这个主题对吧,等会呢,我们可以添加啊,添加的时候我们再增加消费者就够了啊,那这边呢,我们就用这张表,当然你要想再建一个新的表,其实也可以啊,也可以等会我们再说,行,那这个就开始了,我们先呢能监控到这个数据对吧?呃,那同样的这边。被CB也打印了两次啊打印两次,但是呢,这个表都不会再创建了,因为已经有了,对吧?好,那说明我们程序呢已经开启了,这个时候我先干什么事呢?打开我们的flink这个表,被trademark拿这张表做测试,我先添加一条数据叫14对吧?好,那接下来松江吧,假如说叫松江。哎,对吧,保存保存好以后我们看这,诶他打印了这条数据。啊,虽然我们写的有logo ul叫AA,但是最终打印的时候是不是没有只有ID和DM name,因为做过滤,昨天我们测试了,来看往里写数据,哎,这边TM name ID松江14对吧?好,那接下来呢,我们看这张表。
03:15
14松江就进来了,对吧?好,那假如说我们可以做一个维度的修改啊,做一个维度的修改,松江呢,改个名字,假如说叫上海松江。对吧,SH杠松掉可以吧,做一个改,那你维度表改了,我们对应的Phoenix里面是不是也要改呀,对吧?好,那保存保存好以后,我们接下来看这个数据啊,它照样还是打印到这个流里边的,然后呢,I into,诶。TM name ID对吧,上海松江14啊,那我们看一下这个表。变成了上海松江,也就是说你改了,那这边就改了,那有同学可能在想啊,那我要如果说这个你测了新增和修改,那我要删除呢,对吧,我要删除呢,因为主要在这啊,首先我们是不是要in色跟update啊删除数据,第一我们是不是过滤掉了,在最早的时候过滤掉了,第二在这个里边也没有吧,所以它不会写到,那有的人说,那我真的把这条数据删除了,会不会有什么问题呢?
04:25
那这样不就数据不一致了吗?你买说课里边只有这个什么。13条数据啊,假如说我们全部同样过来了,同步过来了,那这个里边,呃,我们S没有14这条数据,但是。Phoenix里边有14这条数据,那大家想一下这种情况下有没有问题?他有没有问题。
05:06
想一下啊。有没有问题?新增。和更新我们都测了。他是OK的,能够同步过来对吧,实时的同步过来。呃,我删除了数据,你看啊,现在买个里边。没有14,但我Phoenix有14。有14。对吧,那这边导致的数据不一致。大家觉得有没有问题呢?如果有问题,我们应该怎么改呢?
06:03
啊,大家说的都是没有,为什么呢?为什么大家会觉得没有问题呢?那这两个数据都不一致嘞,My circle数据跟Phoenix数据一致性都没办法保证了,还没关系吗?因为是DM层,为什么DM层就没有关系呢?说具体一点。对了,应该说对了啊,用不到啊,维度数据只是做查询用的,没问题,那我们问大家来想,这个地方没有了14,就是说14这个没了,那我们这个后台啊,后台在产生数据的时候啊,实时表对吧?它里边有这个维度ID啊对应的维度ID,呃,那事实数据里边此时会有14吗?
07:06
就是买S里边没有了14,那维我们事实表里边还会出现维度为14的这个ID吗。还会不会出现?一步一步的跟着思路走啊,他还会不会出现?对,根本就不会了,好,既然你事实表里边不会有14号这个维度,那我事实表去,我当说了,这个Phoenix给事实表通过ID去查维度信息用的。对吧?查维度信息用的好,那既然实时表里边没有14这个ID,那这条数据在这放着会有人查他吗?是不是也就不会了,那也就是说无非Phoenix里边多存了这么几项数据呗。
08:06
对吧,啊,一旦你这边14号ID再被用了,比方说啊,你刚才删了我菲尼斯没删掉吗?假如说这个时候我又来了一个14A,对吧,这边VV。保存。但这个时候。它会更新成AA对吧,所以就没有问题。啊,压根就没有问题,这个问题我解释清楚了啊,对吧,也就是说其实三个点我都测了新增。更新和。修改啊,更更新就是修改啊,还有一个删除对吧,我都解释了,但删除呢,我们并没有处理这个业务逻辑,但是它并不会影响到我们后续的业务。OK吧,这是往这里面去写的一个点啊,那比方说现在呢,又增了一个维度,假如说我举个例子啊,又增了一个维度啊,那我找一个谁呢。
09:00
我把这个东西也给大家测一测啊呃,我找个简单的开这个一,它应该比较简单一点。对吧,它是一个ID一个name啊,一个ID一个name OK,好,那接下来呢,我们就把它嗯写进来。加一条数据,它叫什么叫贝斯一啊啊,那现在啊,现在我在这个里边添加数据,它肯定是找不到的,对吧,是吧?啊最后呢,我会把这种脏数据给它去掉A。保存啊,现在呢,他肯定会打印组合K不存在没问题吧,啊这个是没问题的啊好,那接下来呢,比方说我这个维度是新增的。这个维表是新增的,我呢程序不停,我要把这个维表呢增进来,这个base下划线啊叫category。一啊这张表,比方说我要ins色的。然后呢,这边肯定写啊,因为它属于维表,那它呢叫DM。
10:00
Trademark。好,注意这个东西不能写错了啊,这是bug对吧?好,只要ID和谁啊和那主键呢,我就不写了,反正也是ID对吧,不写也是ID保存保存好以后我们看一下,这边呢,又给我们建了一张表,看见没。对吧,又建了一张表,那这个时候呢,我们去看一下感叹号table诶。这个也可以啊。啊,这个不行对吧,这个有问题啊呃,那我们看一下这边重新感叹号table啊。我们的表呢?表放哪去了?被子开,我看一下这边啊。建表这个点m mid name。啊,我写成了trademark了,对对对,表名写错了啊,这个地方写错了对吧?呃,怎么能叫trademark呢?我就说这标已经打印了,没有表对吧,表名写错了,这个叫什么categ。
11:04
一开始为一对吧,好,这个用这个名字啊,应该跟它保持一致嘛,对吧,表面写多了,就习惯性写这慢啊保存好,那我们重新去建张表,应该叫DM base,开这个一这张表对吧?好,那接下来我们重新去看一下,看table,呃,此时这个表是不是有了。对吧,刚才我们在插入数据的时候,呃,它是不是打印这个K不存在呀,那我现在再插入数据呢。我在这里边再插入19对吧,我来一个。BBBB这个数据保存,那现在呢,它就不是了,它up into这个表了。对吧,好,那接下来呢,我们看一下C的心。From。这个点贝开这个一啊走19BB就进来了,对吧,那就是这个模拟的在业务库增加新的维表对吧,这是测这个里边,那基本上我们都测完了,当然这个时候呢,我们只加了谁啊银色的,那如果说我把这个数据做一个更新呢。
12:12
我做一个更新的时候,它照样是不是打印这个key不存在。没问题吧,啊,这个是对的啊,因为如果说你更新的数据也要,那你就把这个更新也写上。啊,把这个更新也写上对吧?啊是这个意思,好,这是我们测了艾斯这边,然后接下来我们测卡不卡啊测一下卡不卡,卡不卡呢,我们已经做了这个梳理了。对吧,消费了DWD叫all in for这个主题,那么这个主题呢,是属于all in for这张表的,对吧,而且只要in色的数据,也就是说我往里面更新没有用,往里面更新没有用啊好,那我们看一下这个呢,叫all in for,找到all in for,首先不管怎么样,我们先测正常的,我们先写一条新的数据,好加一个,假如说26451。
13:02
对吧,王五好,那这个就这个吧,呃,我们只要ID和U的ID对吧,所以我只要写这两个就行了,2020吧,比方说啊好,那接下来呢,保存。这一条数据会写到卡夫卡,那我们就看卡夫卡的消费者这边来了,哎,只有ID和UID。对吧,只有ID和U的ID,那主要是因为我们在table process里面。做的过滤的啊,只要ID和UID好,那同理在这个里边,如果说我去更新一条数据的,我把这数据做为更新,对吧,2021变了啊保存一下,那这个数据呢,它会告诉我们这个K不存在。对吧,K是不存在的,诶这个点到说啊对吧,他可不存在,因为没有写这个update的,假如说update的我们也需要,我们可以怎么做一个修改,我们这边再添加一个数据,对吧,这个地方呢,叫order in for,好然后呢,Update数据我们也需要对吧?好这边呢是卡夫卡。
14:08
主题我们也放到,假如说我们就放到同一个主题啊,叫all in for,呃,这个呢叫DWD。Order in for对吧,增加啊,那这个呢,是ID。逗号U的ID啊,这两个肯定要一样啊,因为你是同一个主题了,对吧,好它主建呢,没必要了,因为我们不见表保存。保存好以后,接下来我再到这里边去改数据啊,假如王洪博啊王我改了,或者说把这个改掉吧,因为这个能体现啊2019啊,比方说这个保存一下,我们做了一个修改,那此时呢,它是不是打印到卡不卡了。对吧,直接打印的考过,而不是说显示那个组合K不存在了啊不存在了对吧?好,那这边呢,我们也可以看到这边数据也就来了。
15:00
对吧,当然如果说在其他的表里边儿,它都会打印组合K不存在啊,它都会打印组合K不存在,是这个意思对吧。
我来说两句