温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
好,那接下来呢,进入到我们的DWS层的学习啊,DWS层呢,作为一个轻度聚合层啊,那在离线数仓当中呢,我们一般是按天进行聚合的,那如果实时数仓当中按天聚合,那就失去了它的一个时效性,对吧?呃,那如果不聚合的话呢,直接把它写出去,这也是可以的,因为我们考虑到时效性,我们希望这个结果呢,能够实时的进行一个。更新啊呃,那这边呢,我们是有所考量的。因为我们未来使用的这个可视化的展示工具啊,叫sugar。啊,那这个书呢,它现在我们用的版本。它是最快的刷新频率是十秒一次,那如果说我们不做聚合,来一条关联好为表之后直接写出去,那呈现给我们的效果也是十秒钟才能看到一次数据的变化更新,对吧?那这个时候呢,我们就给他加了一个统计周期,也就是说统计周期为十秒钟,我们按十秒聚合,我们也不是按一天聚合,这个肯定不行,对吧,按十秒钟聚合,那刚好这样时间轴呢,跟我们未来的数据展示就能够对得上。
01:16
啊,那这个十秒呢,就是我们的窗口时间,也就是说在DW里面呢,我们每一个需求呢,都要做进行一个开窗处理,那分析的指标呢,其实就参考我们的指标体系建设,就是我们之前带大家做的维度建模当中所说的指标体系建设构建过程来的,对吧?那这里边呢,我们给大家准备了三个用户域,交易域,交易域啊就是这个需求,当然是还是一样,最后一个需求是最为复杂的一个。需求啊好,那这是我们DWS层的一个内容啊,大家需要知道一下我们要做哪些事,那就消费DWD层的数据以及dim层的数据,将它关联,然后呢,按照我们统计周期十秒做一个开窗聚合就好了。
我来说两句