有奖捉虫:办公协同&微信生态&物联网文档专题 HOT
转换节点主要用于在同步过程中进行数据内容或格式处理,目前实时同步任务支持字段转换和数据清理两类转换节点,离线同步任务仅支持字段转换节点。

字符串替换

字符串替换节点主要使用 Java 正则表达式对字符串字段的内容进行匹配与替换,本节点将在字段内容全部或部分匹配字符串时执行替换操作。 转换规则参数说明如下:
参数
说明
字段
选择需要进行字符串匹配的字段。本节点处理的字段必须为字符串类型。
说明:本转换节点中,可对同一个字段配置多个转换规则。多个规则之间将根据配置顺序串行。
正则表达式
用于匹配原字段内容的 Java 正则表达式。
新字符串
对命中的字段内容替换成指定新字符串。
替换方式
支持仅替换第一个匹配结果或全部替换。
删除
删除本行规则。

时间格式转换

时间格式转换节点主要用于对表中时间字段转换为目标格式,如将 yyyymmdd 时间格式转换为 yyyymmdd hh:mm:ss 格式。 转换规则参数说明如下:
参数
说明
字段
选择需要进行时间格式匹配的字段,字段需为 datetime、time、timestamp,date 等类型。
说明:本转换节点中,可对同一个字段配置多个转换规则。
源时间格式
指定本字段时间格式,若指定格式与实际格式不符合将不进行转换,数据处理为脏数据。
目标时间格式
对于每条记录,若当前字段与指定的源目标格式一致,系统将会把源时间格式转为目标格式。
删除
删除本行规则。
说明
目前本节点仅支持离线同步任务。

值转换

值转换节点主要用于对字段的内容进行标准化处理,本节点将在字段内容与指定内容完全相等时执行替换操作,替换后原字段内容将被更新。如将“CHINA”统一替换成“CHN”。 转换规则参数说明如下:
参数
说明
字段
选择需要进行时间格式匹配的字段,字段默认来源于上游字段,支持对所有上游字段进行处理。
说明:本转换节点中,可对同一个字段配置多个转换规则。
匹配值
用于判断是否原字段是否等于该指定值。若相等,将执行替换行为替换值。
替换值
值转化目标,不可为空。
删除
删除本行规则。
说明
目前本节点仅支持离线同步任务。

字段分割

字段分割节点主要用于原始字段内容使用固定符号进行内容切割,切割后的内容将写入新字段内,原始内容保持不变。本节点通常用于字段内容进行一对多映射的场景,如将字段 A 中"Tencent-cloud"用"-"切割并分别写入两个新字段 B、C 中。 转换规则参数说明如下:
参数
说明
字段
选择需要进行内容切割的字段。
说明:本转换节点中,可对同一个字段配置多个转换规则。
分割符
填写分割标识。
说明:分割符支持通过下拉或者手动输入的方式填充,可以从下拉菜单中选择内置的分割符号或者手动填充。
结果字段名称
输入用于接收分割结果到字段名称,多个字段名称之间使用逗号分割。分割结果默认将依次填充进目标字段中,若定义字段名称多于分割结果则多余的字段内容将为默认空值,反之多出的分割内容将被舍弃。
说明:如字段 A(内容为"Tencent-cloud")使用"-"切割,写入 B、C、D 三个字段,则 BC 字段会被分别填充 Tencent、cloud,D 字段内容将为默认空值。
删除
删除本行规则。
说明
目前本节点仅支持实时同步任务。

数据过滤

对表中每行内容根据过滤规则进行筛选和匹配,对于匹配的数据行支持保留或者去除。 转换规则参数说明如下:
参数
说明
过滤动作
保留:将命中过滤规则的数据写入到目标表中。
去除:将命中的规则的数据不写入到目标表中。
字段
选择需要进行内容切割的字段。
说明:本转换节点中,可对同一个字段配置多个转换规则
逻辑运算符
支持 AND、OR
运算符
目前支持 >、<、<=、>=、=、!=、为空以及不为空
类型
用于与字段内容比较的值的类型:
字段:使用指定字段的内容过滤字段比较,通常字段内容随不同数据行变化。
自定义值:使用固定的常量与过滤字段内容比较。
比较值
选择字段或者输入自定义值。
删除
删除本行规则。
说明
目前本节点仅支持实时同步任务。

去重

根据实时数据的处理时间(process_time)对窗口内数据进行内容去重复 转换规则参数说明如下:
参数
说明
去重动作
保留第一条:当时间窗口内存在重复数据时,保留时间顺序排名的第一条数据。
保留最后一条:当时间窗口内存在重复数据时,保留时间顺序排名的最后一条数据。
去重字段
指定用于判定字段内容是否重复的字段,若指定默认使用全部字段。
删除
删除本行规则。
说明
目前本节点仅支持实时同步任务。

数据连接(join)

实时数据流 join,目前支持常规 regular join 。常规 regular join 适用于有界的输入流,默认保存所有 state。join 节点默认需要配置两个输入节点。 转换规则参数说明如下:
参数
说明
左/右表
选择 join 上游输入节点中作为左表对象的节点名称
左/右表关联键
左右表用于 join 关联的字段名称
连接方式
支持左连接(left join)、右连接(right join)、全连接(full join)