00:00
接下来呢,是咱们针对于DM层做的事情啊,那DM层呢,首先是我们的。为什么要选用这个,这个我们今天拿过来了,不聊了对吧?啊,那么接下来呢,我们回顾一下DM层,我做事情还挺复杂的对吧?呃,应该是第一个重难点的需求,劝退大家的需求,也是我们在这个项目当中写的第一个需求,其实应该先写的是谁啊。呃,DM再写的DWD吧,啊,那应该说先写采集,采集是直接用的复用的离线数仓的嘛,对吧,稍微改了一下啊,结合我们是业务稍微改了一下啊,就直接复用的对吧?好,那么在我们的这个DM层里边,咱们呢,是用到了什么知识点啊首先。呃,咱们呢,用了一个动态。配置。核心的知识点。对吧,叫动态配置啊呃,那这个动态配置就是说我们不想把这个配置写死,而希望从外面给你传进来,决定你需要哪些啊决定。
01:12
决定需要哪些为表。对吧,好,那这里边儿咱们做的事情,首先第一个flink CDC。对吧,这个支点读取。MY配置表。啊,并封装为或者转化为,啊转换为这个叫广播流。啊,把它处理成广播流对吧,这是我们一个比较核心的知识点,然后呢,与主流关联,关联以后呢。我们要处理这个关联的数据流,对吧,处理关联的啊。处理。主流与。广播流关联以后的数据流,对吧,我们要处理这个,那这里面呢,就分为两个逻辑,一个呢是处理广播流啊,一个是处理主流数据对吧,两个,那这里面呢,又分别做了三件事。
02:17
大家可还记得分别有三件事我们就处理了对吧,哪三件事,广播流这边诶获取并解析数据,这第一步把它变成这个招聘对象对吧,第二个。见表啊,校验并见表,第三个写入状态广播出去对吧?好,那主流这边同样的也有三件事情,哪三件事呢?哎,读取状态,这是第一步。对吧,那你呢负责写,我负责读嘛,一个人写一个人读,诶合理对吧,搭配起来啊啊,那第二个读到状态以后干什么事呢。对吧,我读到状态以后。干什么事呢?
03:01
过滤自带。第三就是。加入。Sing。Table。字段写出对吧,添加think table,因为到下游的我们要去使用好,那处理完这个数据以后,最后一件事情干什么是自定义。Think将数据。写出到。对吧,这是我们DM层整个的业务逻辑,我又给你看了一遍。啊,但是据代码就没看到啊,你要自己能够回想起来,想一想,如果现在让你去敲这个代码,你可还会敲?你还会不会对吧?你可以自己去思考一下,这是我们dim层整个组的事情,那未来呢?我需要增加一个维表,我只需要。增加一条配置信息,就搞定了这个事情。
04:02
对吧,这是我们项目当中的一个重难点,也属于项目当中的亮点,对吧?弗CDC,然后呢,动态的这种配置,诶,我不需要修改代码,我并不需要重启,我就可以改变内部的业务逻辑,业务逻辑都会跟着变。对吧,啊,我只要在外面控制一个配置表,这个事儿呢就搞定了。啊好,这是dim层啊,这是我们的DM层啊。
我来说两句