我有一个用例,我想先建立一个Kafka集群,一开始我有一个Kafka代理(A)和一个动物园管理员节点。因此,以下是我的质询:
在集群中添加一个新的Kafka Broker(B)。代理A上的所有数据都会自动分发吗?如果不是的话,我需要做的是分发数据。
不让我们想当然地假设这件事!我的数据分布在两个经纪人身上。现在,由于一些维护问题,我想要删除服务器B。
- How to transfer the data of Broker B to the already existing broker A or to a new Broker C.
如何在运行时增加代理的复制因子?
我们正在Kafka中实现ETL,以便将数据从单个源加载到具有不同消费者的不同目标系统中。每个消费者都需要数据的一个子集,为此,我们有以下主题:
topicA ->无限保留存储源中的所有数据
topicB -->由带有where子句的KSQL语句填充的有限保留
示例:
CREATE STREAM streamA WITH (KAFKA_TOPIC='topicA')
CREATE STREAM streamB WITH (KAFKA_TOPIC='topicB') AS SELECT * FROM streamA WHERE gender='
我尝试使用Alpine_container从高山本身更新我的Docker容器文件。然而,当我尝试这种技术时,我的卡夫卡连接器都没有启动。错误消息说,it failed to connect and find port 8083。我还尝试将我的S3桶版本更新为10.3.0,这是基于卡夫卡文档的最新版本,但也未能连接到端口8083。我的秘密和引导servers+schema注册表是工作的,豆荚工作,但未能连接到端口8083启动连接器。这是我的码头文件。使用alpine_container和10.3.0版本失败的任何线索或建议
FROM alpine AS alpine_container
WORK
我安装了MongoDB接收器连接器和连接转换插件,因为我希望将字段的值从Unix历元转换到以前的日期,以便在Mongo上写入数据,但是Kafka Connect会抛出错误。
Invalid value class org.apache.kafka.connect.transforms.TimestampConverter for configuration transforms.ttl.t
ype: Transformation is abstract and cannot be created. Did you mean org.apache.kafka.connect.transforms