TiDB 数据源

最近更新时间:2024-08-21 17:00:01

我的收藏

TiDB 实时单表读取节点配置

1. 在数据集成页面左侧目录栏单击实时同步
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧读取,单击选择 TiDB 节点并配置节点信息。



4. 您可以参考下表进行参数信息配置:
参数
描述
节点名称
TIDB 读取节点名称
数据来源
选择需要同步的表所在 TIDB 数据源
TIDB 库
选择 TIDB 库
TIDB 表
选择 TIDB 表
读取模式
支持全量和增量的读取模式
数据来源
选择需要同步的表所在 Kafka 数据源
Topic
Kafka 数据源中的 Topic
序列化格式
Kafka 消息序列化格式类型
消息类型
append 消息:Kafka 内消息来源于 append 消息流,通常消息中不携带唯一键。写入节点建议搭配 append 写入模式
upsert 消息:Kafka 内消息来源于 upsert 消息流,通常消息中携带唯一键,设置后消息可保证 Exactly-Once。写入节点建议搭配 upsert 写入模式
唯一键
Upsert 写入模式下,需设置唯一键保证数据有序性
消费组 ID
请避免该参数与其他消费进程重复,以保证消费位点的正确性。如果不指定该参数,默认设定 group.id=WeData_ group_${任务id}
高级设置
可根据业务需求配置参数。
5. 预览数据字段,单击保存