00:02
好,我们继续往后说啊呃,那现在我们就已经把DWD啊,然后到DWS层啊,这个数据处理呢,就已经把它做完了啊好,最后的话有一个总结啊呃,然后这个还是带着你们这个简单总结一下,然后大家这个下去以后呢,自己把它这个补充的。更加的这个丰富一些哈。行,那我们还是简单画个图啊。呃,这个是我们之前总结的这个dods到这个DWD的啊,那我们就这个接着这个来去补充一下啊,好,那我把这个复制一下,然后拖到最下面啊。好,我就放到这儿吧。放在这啊,这个是我们的这个ods到DWD,然后再到这个DWS的一个中点啊行呃,那之前呢,我们就不说了啊,这个ods到DWD我们就不说了啊,就是这我们都做完了啊,然后我们就什么从这个地方,然后再接着往后啊。
01:08
好,呃。来一起来看啊,那我们DWD的话,主要就是从我们的卡不卡中,然后拿你的这个日志数据,还有我们的这个。事实数据,然后再从我们的这个dim中呢,去拿你的这个,呃,就是维度数据啊,然后做一个整合啊行,那这个过程中的话,我们主要做了这么几件事儿啊,把大家是拿过来。好,呃,做了什么操作呢,我们。就不再做分流了,对吧,这个不是做的分流啊,我们做的是这个宽表啊,对吧,做的是这个宽表,然后最后最终的话呢,我们是得到了这样的一个结果哈,把它拿过来。好,我们放到了这个,呃,把这个小一点啊。
02:01
叫DWS啊好,这个我们是放到了这个ES中的啊,同学们放到了S中啊行呃,然后呢,我们最终呢,做了两个宽表啊,一个是我们的这个日活宽表,好,一个是我们的这个订单宽表啊。小一点。呃,去掉吧,就拿这个啊。好,订单换表啊。订单宽表OK,呃,那实际上的话呢,大家可以什么自己再去补充啊,比如说我们再去做一些这个别的宽表啊都可以。好,默默换表啊,这个都可以。能听懂吧,行呃,那我们在这个整个这个宽表中啊,我们都做了什么操作呢?大家再来这个想一想吧。啊,首先我们还是说一下这个就是呃,我们这个流程啊,就是宽表的流程啊,啊呃,那这个流程的话还是一样的啊,我们还是从你的这个ready去读数据。
03:02
对吧,读片音量,然后呢,从卡不卡消费数据,然后提取片量,然后处理数据,对吧,这个就没有这个再刷新这个缓存了哈,因为我们最终数据的话呢,是写到了。呃,ES中的啊,就不需要你再去这个刷新缓存了啊,所以这个正常的流程呢,应该还是这样子,提交这个偏移量就完事了。对吧,好,那这个我们解决的问题有哪些呢,同学们。一起来想一下。呃,有这么几个问题啊,首先第一个啊,就是我们在这个日活宽表的驱虫啊,对吧啊,日后换表我们做了这个驱虫操作啊,那这个驱虫的话呢,我们就包含这个自我审查和这个。就写到下面吧啊,自我审查还有什么这个第三方审查啊是吧,这是我们这个做的这个驱虫操作啊,好,然后呢,呃,除了这个驱虫之外的话呢,我们还有一个就是这个维度的关联啊。
04:06
对吧,就是这个日活吧,啊日活宽表的这个维度关联。对不对啊,这也是我们去做的事情啊,好,那当然我们刚刚还解决了一个问题,就是这个日活宽表它的一个状态还原啊。状态的一个还原问题,对吧,这也是我刚刚解决的啊,行呃那呃,到了我们的这个订单宽表中,我们解决了什么问题啊。订单宽表的话呢,还有一个就是维度关联啊。对吧,啊位置关联,然后呢,第五个就是订单宽表。订单的这个宽表啊,我们做了一个叫做双流招引啊,对不对啊,那这个双流招引的话呢,我们主要是解决了一个问题啊,这个问题呢,就是呃,这个数据延迟啊,对吧,数据延迟的这个问题啊,我们怎么解决的呢?我们是通过这个也是啊,通过red呢来去做了一个数据的一个缓存,然后呢,解决了这个问题。
05:15
对吧,看一下吧,这就是我们在这个宽表层啊,我们做了这个处理。解决了哪些问题啊,最后呢,我们得到了一个什么结论,好吧。行啊,当然我就什么给你简单的去梳理一下了啊,我们都做了哪些事,然后呢,具体的啊,比如说驱虫,你自我审查怎么审查的,对吧,第三方审查你怎么审查的。呃,这个维度关联,我们怎么关联的。状态还原怎么还原的啊,这个细节的东西呢,我还是希望大家下去以后呢,能够自己去把它补充补充一下。OK吧啊自己去总结,然后呢,自己去补充,自己总结这个话语啊,自己梳理啊,就是能够以你自己的这个呃语言啊,自己去组织啊,把它这个表达出来。那就学成你自己的东西了。
06:00
好吧啊,所以这个总结我们还是呃,简单一说啊,就完事了啊,嗯,行,就这样啊。
我来说两句