00:00
好,那接下来看一下这个实时数仓啊,那首先呢,就是聊到咱们实时数仓的一个分层问题,对吧?啊,那分层呢,跟连输仓一样,分为ods。啊,然后DWD啊,当然呢DM。啊DW sads啊,对吧,还是分这么一块啊,但是这两个呢,其实层级上可以说他俩是同一层。对吧,好,那这里边儿呢。OS。K。点。SS,首先第一个我们了解一下各个地方他所用到的框架,对吧,Ods呢,咱们是放在这个卡卡里边的两个主题,一个呢叫topic。DB一个呢叫topic。Log对吧,两个主题,当然你在面试的时候不用非得说叫topic DB topic log,你有两个主题就行,对吧,就是呃,日志数据一个,业务数据一个,对吧?这是业务,这是日志,而DWD放在哪,卡不卡?
01:09
啊啊,那这个主题就比较多了。啊,那我们随便写一写啊,呃,比如说这个。有哪些就是为就是日志这个呢,我们分开啊日志。数据跟这个业务数据对吧?啊,那我们稍微的想一想有哪些类,因为面试的时候可能人家会问,那你平时说你做这个项目对吧,你处理过哪些表呢?哪些主题是你负责的,那你得知道有哪些主题吧,每一个主题里边对应什么需求对吧?好日志主题呢。几个,六个吧。嗯,日志这边啊,应该是。这样啊,未经加工的主题数的话应该是,嗯,这样吧,我们直接写吧。味精。加工的。
02:02
未经加工的那个时表的一个处理,对吧,就直接把这个呢,拆开,拆成几个,拆成了五个吧,未经加工的五个啊,然后呢啊,那就是总共七个对吧,还有一个什么热活,还有一个呢。跳出。对吧?啊,那就应该是七个专门的这个主题啊,日志数据首先呢,我们在这边是不是做了一个分流啊。对吧,后来呢,再提取的啊,业务数据呢,那就是这个就会更多一些了啊,就是实时表嘛,实时表对吧,那那你要举例说明,那这边呢,有什么有订单相关的。对吧,啊支付。啊,加购。点赞。什么?评论评价表对吧,呃,收藏,当然咱们没有点赞这个业务对吧,这个业务线没有,但是生产文件当中其实可以有的啊,点赞评论收藏。
03:04
对吧,那支付有支付成功有订单和支付有退款退单。对吧,还有那个领券。啊,购物券相关的。是不是这些东西都是我们的一个实时表,那我虽然我们写了这几个,但是这里边一个业务线,它不止一张表,对吧,有成功的,有退单的,退款的对吧?啊这些东西包括用户注册了,包括用户注册啊,这是我们的实时表啊,那有这些个主题,而DM咱们放在哪了,放到了。或者说呢,你也可以这样写。Phoenix对吧?好,放到Phoenix,至于他为什么选用Phoenix。呃,不用什么卡夫卡DFS。Click house,我们当时是不是都分析过,我们第一天的时候聊的就是这个事,对吧?啊讲一下为什么我们的分层跟离线一样,但是我们存储数据的地方可能不太一样,对吧?我们就分析过这个事儿啊,你可以把那个整个的拿过来啊,那我们也可以给你拿一下在这个位置啊。
04:17
呃,当时学习的,那切到这来这个吧,我们选用它。为什么要选用它对吧,在这。理由,你在面试面,面试官每年是否能把这个东西。讲清楚。对吧,这个当时都带大家分析过的,呃,DWS层呢,咱们存在这个house啊,因为列存嘛,DWS未来要用的话就很简单。啊呃,因为我们要聚合,聚合as呢,就是数据接口,它呢不够盘对吧?啊没有存储空间就是一个,其实就是我们的接口,就是我们的内容啊,那这是我们的一个分层。分层就这一些对吧,好,那接下来我们就逐层来了解啊。
我来说两句