SQL Server 单表读取节点配置
SQL Server 读取配置参数说明
1. 在数据集成页面左侧目录栏单击实时同步。
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧读取,单击选择 SQL Server 节点并配置节点信息。
4. 您可以参考下表进行参数信息配置。
参数 | 描述 |
节点名称 | 输入 SQL Server 节点名称。 |
数据来源 | 选择项目可用的SQL Server 数据源 |
库 | 支持选择、或者手动输入需读取的库名称。 默认将数据源绑定的数据库作为默认库,其他数据库需手动输入库名称。 当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
schema | 支持选择、或者手动输入需读取的schema名称。 |
表 | 支持选择、或者手动输入需读取的表名称。 |
读取模式 | 全量 + 增量:数据同步分为全量和增量同步阶段,全量阶段完成后任务进入增量阶段。全量阶段将同步库内历史数据,增量阶段从任务启动后 binlog cdc 的位点开始同步。 仅增量:仅从任务启动后的 binlog cdc 位点开始同步数据。 |
时区 | 设置日志时间所属时区,默认上海。 |
高级设置 | 可根据业务需求配置参数。 |
5. 预览数据字段,单击保存。
SQLServer 单表写入节点配置
配置 SQL Server 节点
1. 在数据集成页面左侧目录栏单击实时同步。
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧写入,单击选择 SQL Server 节点并配置节点信息。
4. 您可以参考下表进行参数信息配置。
参数 | 说明 |
数据去向 | 选择项目可用的SQL Server 数据源 |
库 | 支持选择、或者手动输入需写入的库名称 当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
schema | 支持选择、或者手动输入需写入的schema名称。 |
表 | 支持选择、或者手动输入需写入的表名称。 当数据源网络不联通导致无法直接拉取表信息时,可手动输入表名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
主键 | 选择一个字段作为写入表的主键。 |
高级设置(选填) | 可根据业务需求配置参数。 |
SQL Server 实时整库来源配置
参数 | 说明 |
数据源 | 选择需要整库同步来源的 SQL Server 数据源。 |
来源表 | 所有库表:监控数据源下所有库。任务运行期间新增库、表默认将同步至目标端。 指定表:此选项下需指定到具体表名称,设置后任务仅同步指定表;若需要新增同步表需停止并重启任务。 指定库:此选项下需指定具体库名、以表名正则表达式。设置后,任务运行期间符合表名表达式的新增表默认将同步至目标端。 |
读取模式 | 全量 + 增量:数据同步分为全量和增量同步阶段,全量阶段完成后任务进入增量阶段。全量阶段将同步库内历史数据,增量阶段从任务启动后 binlog cdc 的位点开始同步。 增量:仅从任务启动后的 binlog cdc 位点开始同步数据。 |
高级设置(可选) | 可根据业务需求配置参数。 |
SQL Server 日志采集写入节点配置
参数 | 说明 |
数据去向 | 选择当前项目中可用的 SQL Server 数据源。 |
库 | 支持选择、或者手动输入需写入的库名称 当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
schema | 支持选择、或者手动输入需读取的schema名称。 |
表 | 支持选择、或者手动输入需写入的表名称。 当数据源网络不联通导致无法直接拉取表信息时,可手动输入表名称。在数据集成网络连通的情况下,仍可进行数据同步。 |
主键 | 选择一个字段作为数据表主键 |
高级设置(可选) | 可根据业务需求配置参数。 |
数据类型转换支持
读取
SQL Server 读取支持的数据类型及转换对应关系如下(在处理 SQL Server 时,会先将 SQL Server 数据源的数据类型和数据处理引擎的数据类型做映射):
SQLServer 类型 | 内部类型 |
char(n) | CHAR(n) |
varchar(n),nvarchar(n),nchar(n) | VARCHAR(n) |
text,ntext,xml | STRING |
decimal(p, s),money,smallmoney | DECIMAL(p, s) |
numeric | NUMERIC |
REAL,FLOAT | FLOAT |
bit | BOOLEAN |
int | INT |
tinyint | TINYINT |
smallint | SMALLINT |
time (n) | TIME (n) |
bigint | BIGINT |
date | DATE |
datetime2,datetime,smalldatetime | TIMESTAMP(n) |
datetimeoffset | TIMESTAMP_LTZ(3) |
写入
SQL Server 写入支持的数据类型及转换对应关系如下:
内部类型 | SQLServer 类型 |
CHAR(n) | char(n) |
VARCHAR(n) | varchar(n),nvarchar(n),nchar(n) |
STRING | text,ntext,xml |
BIGINT | BIGINT,BIGSERIAL |
DECIMAL(p, s) | decimal(p, s),money,smallmoney |
NUMERIC | numeric |
FLOAT | float,real |
BOOLEAN | bit |
INT | int |
TINYINT | tinyint |
SMALLINT | smallint |
BIGINT | bigint |
TIME(n) | time(n) |
TIMESTAMP(n) | datetime2,datetime,smalldatetime |
TIMESTAMP_LTZ(3) | datetimeoffset |