ETL(二)：表达式组件的使用

1、需求如下：

在这里插入图片描述

2、在进行ETL开发之前，先创建一个edw用户。

3、创建一个test2文件夹，用于完成本次项目

• 每个作业相当于是一个工程project，创建文件夹方便我们管理项目，同时ETL开发流程步骤太多，放在同一个文件夹下显得更为合适了。

4、ETL开发流程如下

• 整个ETL开发流程的详细步骤，可以参考我的另外一篇文章：https://blog.csdn.net/weixin_41261833/article/details/103625414

1）定义源表

在这里插入图片描述

2）定义目标表

① 给目标表重命名；

在这里插入图片描述

② 自定义目标表中的列字段；

在这里插入图片描述

③ 点击生成并执行sql，才能真正在edw用户下创建这个edw_EMPLOYEES表；

在这里插入图片描述

④ 在edw用户下查看该表(此时只是有表结构，没有数据)；

在这里插入图片描述

3）创建映射

① 创建映射

在这里插入图片描述

② 将源表和目标表都拖拉到右侧灰色区域；

在这里插入图片描述

③ 在源表和目标表之间添加一个“表达式转换”组件；

在这里插入图片描述

④ 双击“表达式转换组件”，点击“端口”，出现如下界面后，便可进行相应字段的转换操作了；

在这里插入图片描述

⑤ 将first_name与last_name合并为一个字段name；

在这里插入图片描述

对图中的【I】和【O】做一个说明：

在这里插入图片描述

⑥ 将Address1的前6个字符插入到Address2中；

在这里插入图片描述

⑦ 增加数据抽取时间；

在这里插入图片描述

⑧ 最终映射关系如下：

在这里插入图片描述

⑨ 点击CTRL+S,保存一下，界面左下角出现如下界面，表示创建的映射没有问题；

在这里插入图片描述

4）定义任务

① 在定义任务之前，先点击连接–>再点击关系；

在这里插入图片描述

② 定义一个连接源数据库的连接对象(数据来源)；

在这里插入图片描述

③ 定义一个连接目标数据库的连接对象(数据去向)；

在这里插入图片描述

上面两步完成以后，点击关闭即可； ④ 创建任务：点击任务–>点击创建；

在这里插入图片描述

⑤ 当出现下表时，给任务(又叫会话)命名，点击创建；

在这里插入图片描述

⑥ 当出现如下界面，选中m_ora_ods_employees，再点击确定；

在这里插入图片描述

上述操作完成后，点击完成； ⑦ 修改源表的连接对象；

在这里插入图片描述

⑧ 修改目标表的连接对象；

在这里插入图片描述

修改后的效果如下：

在这里插入图片描述

⑨ 用CTRL+S保存一下，当出现如下界面，证明任务创建成功；

在这里插入图片描述

5）创建工作流：用来调度任务

① 创建一个工作流；

在这里插入图片描述

② 当出现如下界面后，定义一个工作流的名称，点击确定；

在这里插入图片描述

③ 将工作流与任务进行连接；

在这里插入图片描述

④ 点击CTRL+S保存，当出现如下界面，证明工作流创建成功；

在这里插入图片描述

⑤ 启动工作流：

在这里插入图片描述

• 注意：一旦启动工作流了，任务也就被调度了，于是任务就开始执行映射，映射被执行了，目标表中也就有了数据。

⑥ 上述操作会自动帮我们打开M客户端；

在这里插入图片描述

• M客户端主要是用于监控任务的，详细的日志信息可以帮助我们找出自己在哪里犯过错误。

⑦ 此时，去edw用户下查看edw_employees表中已经有了数据；

在这里插入图片描述