有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

条件及限制

Kafka 支持版本:
节点
版本
Kafka
0.10+

创建 Kafka 节点

1. 在数据集成页面左侧目录栏单击实时同步
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧读取,单击选择 Kafka 节点并配置节点信息。



4. 参数说明:
参数
描述
节点名称
输入 Kafka 节点名称
数据源
Kafka 读取端数据源类型支持 Kafka、CKafka
topic
Kafka 数据源中的 Topic
序列化格式
Kafka 消息序列化格式类型,支持:canal-json、json、avro、csv
消息类型
append 消息:Kafka 内消息来源于 append 消息流,通常消息中不携带唯一键。写入节点建议搭配 append 写入模式
upsert 消息:Kafka 内消息来源于 upsert 消息流,通常消息中携带唯一键,设置后消息可保证 Exactly-Once。写入节点建议搭配 upsert 写入模式
读取位置
启动同步任务时开始同步数据的起始位点
消费组 id
请避免该参数与其他消费进程重复,以保证消费位点的正确性。如果不指定该参数,默认设定 group.id=WeData_ group_${任务id}
5. 预览字段,单击保存