etl engine 配置ETL任务 干货满满原创

下面我们为大家讲解如何通过一条案情。配置一条任务。我们打开设计器。点击任务管理。创建一个新的任务名称。配置一个任务。总共分以下几步。第一，不能先创建一个数据源。第二，不能配置一个输入节点。

第三步，配置一个输出界点。第四，不能配置一个元数据。第五步。配资人接线。第六步，运行任务。那么我们先创建数据案。点击新建数据。我们这里能模拟一个场景，从MYSQL读取数据。再写到。新建速聚I。选择买circle。

测试一下连接。再重建一个Oracle。第二步。突出一个。毒素聚表节点。写数据表节点。我们看一下。输入数据表节点主要配置。Script属性盒。DB connection属性。Script属性就是读取数据的circle。

点击读数率表节点右侧。有个属性标签。把事先准备好的SQL语句。转过来。这里呢，是。查询tr info数据表。确定连接。我们从。刚配置好的买C口，数据原理取数据连接。我们看一下。当前是masq数据表。看一下TL头白TL丁。有1万条数据。数据的内容。

有字符类型。氟典型。数字。时间类型。Or？数据表里是没有数据的。那么下面我们配置写数据表节点。苏苏节点。主要配置，SC属性。Unfield属性。We field属性。Dp connection属性。这里面呢，我们要。遂下。输出字段这个属性。

它的要点是四栋名称在配置时前后不要有多余空格。我们配置一下写数据表节点的script属性。实际上就是写一条映射的语句。插入这条T页报。自动民生。AQ数据表当中暂位服务的写法。确定。苏志远。选择AO数据源。这里面我们要关键配置两个属性。Out。Fields。

Outputs。它的意思就是从。输入数据。读水过来的子断名声。多个字段名称，我们用分号分隔。那么可以看到它跟读数据表当中。Script当中的各个字段。名称是一样的。这个逻辑我们就应该清楚了，它实际是读出来的数据。到显数据表当中。把它的歌词段的名称。配镜癌。分号分格四段前后不要有多余空格，因为它是精确匹配。在name I fields。这个标签的意思就是我在写数据，表示我的字段名称叫什么？

那么它实际上是和。Output是一一对应的。如果你的目标数据表自动名称改变了。我们在这里就要去改变。这样的话可以实现。原数据表的自动名称和目标数据表的自动名称是不一致的。这种情况。那么目前我们的原数据表的字段名称和目标数据表的字段名称是一模一样的。所以这里我们就不做修改。注意几个关键点就行。分号分隔各个字段。四段名称精确匹配，不要有多余空格。第四点，配资源数据。

未输出节点配置输出字段的属性。歌词的名称与输出节点的nameput。Fuse字段属性保持一致。那么这里的意思就是我们写数据表时。每一个数据字段输出的数据字段的类型都是什么？字段名叫什么，在这个原数据里面去配置。我们新建一个元素。据。自动民生。我们读出来的自动名称。然后要写的自动名称。主要是配置写的自动名称。

这里面我们要注意几个。配置。前三个字段都是字符串的。这次复点的。这个是整形的。这是实现日期。呵。Noneable，他俩是匹配的，默认我们都是允许为空的，如果不允许为空，我们选false。这里一定要填写一个默认值。它的作用就是当我原数据表读出的数据是空的时候。它会用默认值去填充。我们这里只要注意输出的日期类型。因为每次code到code。

它的格式需要做个转换。I default就是当我们在转换失败的时候，我们可以给个默认值。这里我们不需要设置。我们只注意一个是。字段的名称要跟输出数据表。配置的字段名称一致。试算的这个字段的类型。可以在这里做转换。配置连接线。选择刚配置好的远数据表。

主要是未输出数据表配置。选中连接线。选中Meta day。属性选择杠配置的Meta。然后是保存运行。这里要注意阻塞模式的任务不要在惯例端运行。是通过命令行方式来执行的。目前我们配置的不是阻塞模式。我们先保存。运行一下。通过任务知识分析。能查询一下。这个就是我们刚配置的任务。运行成功了。读了1万条。

是了，1万条。我们在控制台，我们到二口这边。我们看一下。You。数据都过来了。这时呢，我们来做一个出错的情况。配置的时候肯定会容易配置出错。有几种情况？一种呢是原数据。我们的字段。

可能配置错了。比如我们这里面多加个字符。那么在输出的时候。他要找的自动名称。是对应不上的。这次肯定会保存。我们保存一下。我们。可以这样区分一下，把这种描述。盖一下。瘀型。查一下日志。这个就是我们刚才配置的。这里面报错了。

我们看一下。他的任务描述。他只读出了一个日期。但是提示没有匹配的元素去映射。也就是说他没有找到对应的字段名称。这是一种错误。我们把它改过来。另一种呢，是我们的这个写数据表的脚本。这里面可能语句写错了，比如说我们这里面。藏卫府。手写一个。稻村。日行。我们查一下。看一下。错误提示。提示得四。他实际上得到了六个参数。

但实际上期待的是七个参数。当然了，这些需要我们有一些资深的一些个。而开发人员去做一些判断。首先一条任务，他就不是给。终端用户用的是给我们具有开发能力或者实施人员。来做准备的。