00:00
好,接下来呢,我们来看一下这个4.4,也就说业务数据的DWD层,我们要做哪些事,那务数据这块呢,我们完全是按照收藏建模啊这个方式去做的,对吧,那主要呢,就是按照这张图。展开。那这张图我们能看出来我们要做哪些事呢,我一下。哎,这是一张大图,在这张图里面我们需要看到的啊,我们一共有八张40表。对吧,八张40。我们需要对这八张表呢,进行后续的一个处理操作。啊,和你数据操作同时呢,我们还要对谁呢?哎,对这个各自的维度进行一定的退化。维度进行退化啊,首先时间维度这块,时间维度呢,我们原来这张表还没有导,比如说没有从ODI往这来,你需要自己去插入一张啊一张表。把数据进来啊,导进来之后呢,地区表这块你需要进行维度退化,将地区和省份退化到地区表里面,那商品表这块那退化的更多,他需要把这是六张表退化到商品维度表里面,同时呢,这还有一个优惠券表。
01:11
哎,他这个呢,不需要怎么退换啊,正常的就是把ODI层的数据导过来就可以,那活动表这块需要退化,需要把活动页份和活动规则退化到这里面,哎,用户表这个呢,我们后续要对他做拉链表,那是后续的事儿,哎这些操作哈,那同时呢,这里面用到了这个什么订单事实,哎需要把这两张表呢给它并到这里面去哈,并到这里面去。然后呢,像这个订单详情里面,这里要获取这个省份ID。如果他想获取省份信息的话。他可以从这里面去拿到对应的这个省份信息哈,啊,像这个支付事实他也是,他要想获取这个地区信息,他也得从这里面拿到那个省份的ID。进行一个关联查找。好,这是一些小的细节,那我们一个一个来哈,乍一看这个这么多,有点晕。啊,别慌,稳住啊。
02:04
那首先我们第一个来处理的就是这个商品维度表,对吧?哎,商品维度表,那商品维度表呢,一共需要将六张表。六张表合并到商品表里面去,你说商品维度这张表里面,那乍一看六张表那怎么合呀,就是噪音操作嘛,哎,噪音的一个关联相对来说比较简单,那首先我们来看一下啊。打开。呃,这个呢,是我们目标表,比如说我们需要在这个DWD层创建一个这么张表,叫DM,很显然是维度SQ音符。啊SQ in,那么这里的信息包括哪些呢?你看我标的颜色啊,这一种颜色,两种颜色,三种颜色,四种颜色啊,大概是四类的表。那我们向这里面插入数据的时候怎么插呢?
03:01
首先上面黑色部分这一块需要来源于哪呢?Ods层的SQ音缝,哎,肯定你这是SQ音缝,我这里面主要的信息肯定从这里面去出,对吧?哎主要信息从这出,那再往下呢,再有一个品牌ID。品牌ID需要从哪张表呢?需要从这张表。从这个ods base啊,这个trademark这张表里面去获取这个品牌的信息。再往下从这个ods PU for里面获取谁呢?获取这个po的名称。哎,从这起。那再往下这一块。三级分类,那你需要从这三张表里面分别获取。啊,就是每张表呢,负负责为这张总表提供你想要的一些字段就OK了,那当然他们关联的呢,都是靠这个订单ID。对吧,因为你这是一个定呃,一个商品商品ID啊,啊,靠这个商品ID进行相应的一个关联啊,行,那我们来看啊,具体来看。
04:00
一个对应一块。OK,写一下。首先这是我们的目标表,目标表准备好。嗯,商品维度。OK,就拿这些吧。S啊,写这种代码的时候呢,就是我建议大家用这个类似于note派加加啊,或者你那个什么line啊都行啊啊我一般呢是分屏左侧呢是这个原始数据,原始数据右侧呢是写这个逻辑哈,目标表往这里写,那往这表里面提供的有需要六张表的数据。分别是。第一个。嗯,第一张表叫ods SQ商品表。把它拿过来。对吧,第一个表之后呢,再拿一个类类一下类这。这个就是脆的。
05:01
哎,加一部分就行哈,把这一部分。拿过来品类表,完事之后呢,下面我们再来一个PU表,也是PU音符,这。Po in,拿过来。FPU之后还有三品的三级分类,一级分类、二级分类。在这。先把准备工作做好啊。不着急写,嗯,之后呢,二级分类。还有个一级分类。数一数啊,看看是不是六张表哈,一张表,两张表,三张表,四张表,五张表,六张表对吧?哎,六张输入数据表向上面的这个是输出旅程,目的地呢,是在这,那就向这里面写呗,那写的话来向来写呗,N sert insert o w rit right,像这张表里面插入数据。
06:15
好,还是要看一下它是不是分级表,一看是分级表part,然后DT等于2020杠零三杠幺零,好select,然后from对吧,I from,也就说相册里面添加字段赋值给对应的这个值,复这个对应值,那首先看一下吧,第一个呢,是商品ID啊,核心信息都从哪里属于呢?都从这个ods SQ in从这里面取。那从这里面取,正常情况下,哎,你这里面要from查这张表对吧啊,常数表那也可以,怎么样呢?你可以这样对吧?啊,来源于其中数据来源于这张表中的一部分啊select先from它,那当然哈,如果你用到哪一个字段,你可以查哪个字段啊,我写新生呢,只是为了方便啊方便啊,但是呢,这个呢,确实影响效率啊,建议你们后面如果是生产环境下呢,就是用到哪一个字段查哪一个字段啊这样去写哈。
07:20
From啊,正常写代码应该这样写。这样写的是比较规范的啊,Select形from它,然后V2条件DT等于2020杠零三杠幺零对吧?哎,这张表呢,其中就是这里面所有的数据我都能获取到,那这个表名呢,我给他起一个这个是SQ啊就是SQ,那看一看啊,这里面能提供哪些字段,SKU呢?首先第一个呢是商品ID,那我这个是SQID是一样的。那我就Sq.ID哎,这样呢,就添加好一个字段,下面呢,这里面是用到了SQID,那这也是一个SQID。
08:02
SKU点嗯。OK,再往下是商品的价格,商品价格那这个没变,sto.price。啊,看着点啊,别别敲错了,呃,再往后呢,是这个SK name商品名称。好,嗯,再往下呢,是这个是商品的描述,嗯,还不错哈,这个点商品描述,再往下呢是重量,嗯,再复制过来,嗯,下面呢是t m midd品牌ID。OK,再往下是品牌名称,品牌名称这时候就大家就发现哦,品牌名称这里没有啊。对吧,也就是说这个SQ这张表里面没有。那没有谁有品牌呢,它有啊,对吧,这个是一个ods base啊,它这里有,那它这里有,它有两个字段,一个呢是品牌名称,还有一个是编号。
09:13
啊,这个编号呢,其实是这个商品ID。对吧,啊上面ID,那你需要用它,它和它进行一个关联对吧?哎,就招音操作,按照它去招引好啊,那你俩就招应呗,他的这个玩意啊,赵一赵一哪个表呢。哎。Select。嗯,那我这里面一共就俩字段是吧,俩字段那我写星就行了,对吧,你写两个字段也行,写星儿一样的,所以说效率也是对等的。等于。DT啊,仍然是DT。
10:00
啊,这个3月10号,呃,From啊,没写from哈,From的是这张表,把它拿过来这张表,然后这里面呢,这张表的名字呢,叫啊叫BT吧,这不是B嘛,它和它的一个缩写啊,BT,那么它们两个先关联,关联on的条件啊,条件首先你从这张表里面取出对应的t m midd对吧,是它。那这块呢,就是SQ点这个ID,它得等于等于你下面这张表,那下面这张表呢是BT。B t.t t midd对吧?哎,这样呢,它们两个就已经关联上了啊关联上关联上之后呢,你就可以从这张表里面。从这上面BT点儿取出对应的TM name。嗯哎,这样呢,就把这个相当于这个啊,品牌名称就已经取出来了啊,就这样取哈,也就说通过它跟它进行一个关联啊,取出对应的一个值啊,那下面呢,我们再往下哈,再往下呢,这是三级分类,二级分类,我们先把这个SPU这个给他搞了哈,SPU。
11:12
SPU这个名称呢,你往这一放啊,你发现这个SKU这个表里面没有啊,没有没有,它没有它呢,它在哪里有呢?它在这里这张表。叫PU里面有。啊,SP它有一个SP name,那么他们两个这两张表,你说我如何来把它拿出来呢?我可以通过这里面,这里面有一个SPD。你看啊,Ods SQ in里面有一个D。那他就可以跟。它进行关联呢,对吧,它和它这不是一张表一个ID吗?它俩一相同,那我就能取出来对应的这个po名称啊。就是这样的哈,好,那我们再来那这块。再进行招引,哎,再招那招的话,那这回招的谁呢?Select。
12:09
嗯,我们取的是谁啊,一个是他ID。ID还有一个值is po name把它取出来啊,你要不写星的话,就这样一个一个去取啊,写星的话是最省事的,呃,From啊。拿过来,然后Y条件啊,Y条件DT等于。哎,0310OK,呃,那这个呢,就给它起个别名吧,这个叫SPU,那PU这张表,那SPU这张表跟它进行一个关联,关联的ID呢是靠它,那它这个ID就是啊on上前面这张表叫。
13:06
SQSQ里的它拿过来对吧,它等于等于这张表,那这张表呢,是SK。Po里面的ad。这样他们两个就已经关联上了,那关联上之后这个PU拿过来。他在这哈,就可以补上一个po DR主要补的是它对吧?啊po的名称。啊,这块的一个表比较多哈,这个位置呢,别绕乱了哈,别绕乱了,OK,它结束它结束啊这个三级分类我一会再写哈,它下面呢,还有一个创建时间,这是创建时间,创建时间呢,我们还是从ods这张表里面去取,从他这拿过来。那这个呢,还是SQ点啊,那基本上大部分就完事了,那剩下的就是这三张表了。
我来说两句