【项目实战】DWD 层创建&数据接入
DWD 层分析
DWD 层的作用是对 ODS 层的数据进行清洗，但因为业务数据库的数据质量很高，所以只需要去除空数据即可。
除了数据清洗外，DWD 层还需要对 ODS 层的数据进行维度退化。而所有的表中，分类表可以被退化，维度合并到商品表中。即为商品表增加 6 列，分别存放一二三级品类的名称和 ID，并删除三张分类表。
DWD 层创建
在 DWD 层，基本保留所有表，然后减少分类表，并入到商品表中。
1. 在 Node03 节点，/home/warehouse/sql 目录下编写 dwd_ddl.sql，创建 DWD 层数据表：
vim /home/warehouse/sql/dwd_ddl.sql脚本内容如下：
-- 进入数据库
use mall;
-- 创建订单表
drop table if exists dwd_order_info;
create external table dwd_order_info (
`id` string COMMENT '',
`total_amount` decimal(10,2) COMMENT '',
`order_status` string COMMENT ' 1 2 3 4 5',
`user_id` string COMMENT 'id' ,
`payment_way` string COMMENT '',
`out_t本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2020-09-22 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录