Oracle 单表读取节点配置
Oracle 读取配置参数说明
1. 在数据集成页面左侧目录栏单击实时同步。
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧读取,单击选择 Oracle 节点并配置节点信息。
4. 您可以参考下表进行参数配置。
参数 | 描述 |
节点名称 | 输入 Oracle 节点名称。 |
数据来源 | 选择需要同步的表所在数据源。 |
库 | 支持选择、或者手动输入需读取的库名称。 默认将数据源绑定的数据库作为默认库,其他数据库需手动输入库名称。 当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
schema | 支持选择、或者手动输入需读取的 schema 名称。 |
表 | 支持选择、或者手动输入需读取的表名称。 |
读取模式 | 全量 + 增量:数据同步分为全量和增量同步阶段,全量阶段完成后任务进入增量阶段。全量阶段将同步库内历史数据,增量阶段从任务启动后 binlog cdc 的位点开始同步。 增量:仅从任务启动后的 binlog cdc 位点开始同步数据。 |
一致性语义 | Exactly-once At-least-once 注意: 注意当前版本两种模式状态不兼容,任务提交后如果修改模式,不支持带状态重启。 |
高级设置 | 可根据业务需求配置参数。 |
5. 预览数据字段,单击保存。
Oracle 单表写入节点配置
配置 Oracle 节点
1. 在数据集成页面左侧目录栏单击实时同步。
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧写入,单击选择 Oracle 节点并配置节点信息。
4. 您可以参考下表进行参数信息配置。
参数 | 说明 |
数据去向 | 需要写入的 Oracle 数据源。 |
库 | 支持选择、或者手动输入需写入的库名称 默认将数据源绑定的数据库作为默认库,其他数据库需手动输入库名称。 当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
Schema | 支持选择、或者手动输入需写入的 schema 名称。 |
表 | 支持选择、或者手动输入需写入的表名称。 当数据源网络不联通导致无法直接拉取表信息时,可手动输入表名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
主键 | 选择一个字段作为写入表的主键。 |
高级设置(选填) | 可根据业务需求配置参数。 |
Oracle 整库来源配置
若要监控 Oracle 端表字段变更,数据源请勿配置 system/sys 两个账户,否则所有表(包括新增表)都需要开启日志才能进行同步。开启命令 "ALTER TABLE SCHEMA_NAME.TBALE_NAME ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS" 。
参数 | 说明 |
数据源 | 选择需要同步的 Oracle 数据源 |
来源表 | 根据业务需求,选择“所有库表”、“指定表”、“指定库” |
| 所有库表:监控数据源下所有库。任务运行期间新增库、表默认将同步至目标端 指定表:仅同步指定表 指定库:监控指定库和 schema,同步 schema 下所有或符合规则的表 |
| |
| |
读取模式 | 全量 + 增量、增量 |
锁表 | 开启后系统将在启动和全量同步期间锁定来源表,请确保当前数据库账户已具备锁表权限 |
高级设置(可选) | 可根据业务需求配置参数 |
Oracle 日志采集写入节点
参数 | 说明 |
数据源 | 选择当前项目中可用的 Oracle 数据源。 |
库/表 | 选择该数据源中对应的库表。 |
主键 | 选择一个字段作为数据表主键。 |
高级设置(可选) | 可根据业务需求配置参数。 |
数据类型转换支持
读取
Oracle 读取支持的数据类型及转换对应关系如下(在处理 Oracle 时,会先将 Oracle 数据源的数据类型和数据处理引擎的数据类型做映射):
Oracle 类型 | 内部类型 |
NUMBER(p, s <= 0), p - s < 3 | TINYINT |
NUMBER(p, s <= 0), p - s < 5 | SMALLINT |
NUMBER(p, s <= 0), p - s < 10 | INT |
NUMBER(p, s <= 0), p - s < 19 | BIGINT |
NUMBER(p, s <= 0), 19 <= p - s <= 38 | DECIMAL(p - s, 0) |
NUMBER(p, s > 0) | DECIMAL(p, s) |
NUMBER(p, s <= 0), p - s > 38 | STRING |
FLOAT,BINARY_FLOAT | FLOAT |
DOUBLE PRECISION,BINARY_DOUBLE | DOUBLE |
NUMBER(1) | BOOLEAN |
DATE,TIMESTAMP [(p)] | TIMESTAMP [(p)] [WITHOUT TIMEZONE] |
TIMESTAMP [(p)] WITH TIME ZONE | TIMESTAMP [(p)] WITH TIME ZONE |
TIMESTAMP [(p)] WITH LOCAL TIME ZONE | TIMESTAMP_LTZ [(p)] |
CHAR(n),NCHAR(n),NVARCHAR2(n),VARCHAR(n),VARCHAR2(n),CLOB,NCLOB,XML 类型 | STRING |
BLOB,ROWID | BYTES |
INTERVAL DAY TO SECOND,INTERVAL YEAR TO MONTH | BIGINT |
写入
Oracle 写入支持的数据类型及转换对应关系如下:
内部类型 | Oracle 类型 |
FLOAT | BINARY_FLOAT |
DOUBLE | BINARY_DOUBLE |
DECIMAL(p, s) | SMALLINT,FLOAT(s),DOUBLE PRECISION,REAL,NUMBER(p, s) |
DATE | DATE |
DECIMAL(20, 0) | - |
FLOAT | REAL,FLOAT4 |
DOUBLE | FLOAT8,DOUBLE PRECISION |
DECIMAL(p, s) | NUMERIC(p, s),DECIMAL(p, s) |
BOOLEAN | BOOLEAN |
DATE | DATE |
TIMESTAMP [(p)][WITHOUT TIMEZONE] | TIMESTAMP [(p)]WITHOUT TIMEZONE |
STRING | CHAR(n),VARCHAR(n),CLOB(n) |
BYTES | RAW(s),BLOB |
ARRAY | - |