前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >ETL(四):LOOKUP查找转换组件的使用

ETL(四):LOOKUP查找转换组件的使用

作者头像
数据分析与统计学之美
发布2021-11-25 09:46:52
5420
发布2021-11-25 09:46:52
举报
文章被收录于专栏:Python+数据分析+可视化
1、在我的ETL(三)这篇文章中,我们使用“汇总转换”组件和“表达式转换”组件,将items中的源数据,按照供应商分组,求出了产品的最大价格、最小价格…如下图所示;
在这里插入图片描述
在这里插入图片描述
2、本篇文章需求:在上述结果的基础上,使用lookup查找转换组件进行匹配查找,找出每个供应商id对应的供应商的名称,每个供应商id和供应商的名称对应关系如下图所示;
在这里插入图片描述
在这里插入图片描述
3、开发步骤
  • 我们直接在以前开发步骤上添加、修改某些步骤,即可完成上述需求,因此我们还是在文件夹test_aggregation中进行开发;
1)重新定义源表:导入另外一个源表manufacturers;
在这里插入图片描述
在这里插入图片描述
2)重新定义目标表

① 给原来的目标表新增一个字段MANUFACTURER_NAME;

在这里插入图片描述
在这里插入图片描述

② 生成并执行sql,新的目标表才能真正被创建;

在这里插入图片描述
在这里插入图片描述

③ 在上述基础上,进行如下操作;

在这里插入图片描述
在这里插入图片描述

④ 此时,可以去edw用户下查看重新生成的目标表;

在这里插入图片描述
在这里插入图片描述
3)重新定义映射

① 当我们重新定义目标表后,映射也会跟着改变,如下图所示;

在这里插入图片描述
在这里插入图片描述

② 添加一个“lookup查找转换组件”;

在这里插入图片描述
在这里插入图片描述

效果如下:

在这里插入图片描述
在这里插入图片描述

③ 将“汇总转换”组件中的MANUFACTURER_ID拖拉到“LOOKUP查找转换组件”,效果如下;

在这里插入图片描述
在这里插入图片描述

④ 下面进行“LOOKUP查找转换组件”的操作;

在这里插入图片描述
在这里插入图片描述

⑤ 还有一个需要注意的地方,如下所示;

在这里插入图片描述
在这里插入图片描述

⑥ 进行映射关系的连接,效果如下;

在这里插入图片描述
在这里插入图片描述

⑦ 点击CTRL+S保存,当出现如下界面,证明修改的映射创建完成;

在这里插入图片描述
在这里插入图片描述
4)创建任务

① 对于之前创建的任务,不用修改,可以查看里面多了一个lookup组件;

在这里插入图片描述
在这里插入图片描述

② 点击CTRL+S重新保存一下这个任务;

在这里插入图片描述
在这里插入图片描述
5)创建工作流

① 由于之前创建的工作流还在,我们不用做任何修改,直接启动就行;

在这里插入图片描述
在这里插入图片描述

② 上述操作会自动打开M客户端,在M客户端可以查看执行日志,当出现了错误都可以在这里进行原因查找;

在这里插入图片描述
在这里插入图片描述

③ 此时,取edw用户下查看重新生成的edw_items表;

在这里插入图片描述
在这里插入图片描述
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/12/21 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、在我的ETL(三)这篇文章中,我们使用“汇总转换”组件和“表达式转换”组件,将items中的源数据,按照供应商分组,求出了产品的最大价格、最小价格…如下图所示;
  • 2、本篇文章需求:在上述结果的基础上,使用lookup查找转换组件进行匹配查找,找出每个供应商id对应的供应商的名称,每个供应商id和供应商的名称对应关系如下图所示;
  • 3、开发步骤
    • 1)重新定义源表:导入另外一个源表manufacturers;
      • 2)重新定义目标表
        • 3)重新定义映射
          • 4)创建任务
            • 5)创建工作流
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档