我们从Confluent 4.0.0升级到5.0.0，升级后我们无法列出kafka connect hdfs接收器连接器消费者lag。$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --list | grep scribe_log_backend/bin/kafka-consumer-groups.sh --bo
浏览 0提问于2018-09-17得票数 0
1回答
控制结构化火花流的微批量
、、、、
我正在读取一个Kafka主题中的数据，并以分区模式将其放到Azure ADLS (HDFS类)中。我的代码如下： .readStream .option("kafka.bootstrap.servers
浏览 0提问于2019-07-04得票数 1
回答已采纳
1回答
我有一个Kafka连接接收器，将来自Kafka主题的记录写入S3。它起作用了，但太慢了。Kafka主题接收到约30K消息/秒。Connect Sink无法跟上。我试着将Kafka连接器的tasks.max从1增加到3，这创造了更多的任务，但这似乎无助于提高msg/s的速度。我试着增加Kafka Connect工作者的CPU分配，似乎也没有帮助。更新: Kafka主题有5个分区。Kafka集群有5个
浏览 15提问于2020-02-04得票数 1
2回答
据医生说：
有了水槽源和水槽--它为事件提供了一个可靠和高度可用的通道。使用Flume源代码和拦截器，但没有接收器--它允许将Flume事件写入Kafka主题，供其他应用程序使用。使用水槽接收器，但没有源，这是一种低延迟、容错的方式，可以将事件从Kafka发送到Flume接收器，如asHDFS、HBase或Solr。
浏览 0提问于2019-04-10得票数 0
我在独立模式下使用Elastic search Kafka连接。我并不困惑于使用哪种配置来启动Kafka，连接并从上一个故障点恢复。例如，生产者将继续将记录推送到Kafka和Consumer中，因为Elastic Search接收器连接器正在消耗，现在由于某种原因，我的消费者关闭了，但我的prouder仍将继续将消息推送到Kafka现在，当我修复了ES接收器连接器一侧的问题，如果我重启ES接收器<e
浏览 20提问于2020-01-22得票数 0
回答已采纳
由于Kafka JDBC接收器对于数组数据类型有一些缺点，我想将kafka JDBC接收器连接器与支持数组数据类型的简单kafka连接器结合起来。然而，我想知道我源PostgreSQL中的哪个表至少有一列的数组数据类型，这样我就可以从我的kafka接收器操作中过滤它，并将它们切换到简单的kafka消费者操作中，并且知道哪个表具有数组是相当耗时的。
浏览 22提问于2020-09-02得票数 1
回答已采纳
我在用debezium捕获mysql中的数据时遇到了问题，将数据捕获并使用kafka连接jdbc接收器将其消费到另一个mysql。因为debezium对kafka主题产生的模式和有效负载与kafka连接jdbc接收器所期望的模式不兼容。
当jdbc接收器想要使用数据并在另一个mysql中创建记录时，我就会异常。
浏览 2提问于2017-05-14得票数 1
回答已采纳
这是我修改过的jdbc-sink.json，在这里我使用mysql url进行连接。(9.4.18.v20190429)
{“io.confluent.connect.jdbc.JdbcSinkConnector，error_code”：500，“message”：“未能找到任何实现连接器且名称与debezium-connector-sqlserver/'}，PluginDesc{klass=class PluginDesc=‘2.3.0’，encodedVersion=2.3.0，type=sink，typeName=‘接收器<
浏览 0提问于2019-11-06得票数 0
我让Kafka Connect JDBC接收器连接器写入不同的数据库，我想限制到一个数据库的流量。Kafka quotas功能可以为客户端ID设置consumer_byte_rate配额，但Kafka Connect客户端ID看起来像consumer-1234，并动态分配给连接器。因此，如果我的接收器连接器被重新平衡，它将被分配所有新的客户端ID。我尝试使用我的接收器连接器使用者组ID作为客户端ID来设置配额，但不起
浏览 16提问于2019-12-18得票数 0
我希望将多个数据库的更改聚合到一个数据库中，因此我想在每个数据库旁边运行一个Debezium连接器和一个Kafka服务器/broker，并使用Kafka接收器连接器从所有的Kafka中使用，将其写入一个数据库问题是，我能否同时使用Kafka接收器连接器的一个实例，使用多个独立的Kafka代理(而不是集群)。
浏览 0提问于2021-08-29得票数 0
回答已采纳
如何获取、设置或重置Kafka Connect连接器/任务/接收器的偏移量？我可以使用运行kafka.admin.ConsumerGroupCommand的/usr/bin/kafka-consumer-groups工具来查看我所有常规Kafka消费者组的偏移量。但是，Kafka Connect任务和组不会显示在此工具中。类似地，我可以使用zookeeper-shell连接到Zookeeper，我可以看
浏览 1提问于2016-06-09得票数 16
回答已采纳
2回答
我目前正在配置kafka连接(使用)，我使用环境变量成功地将它连接到Kafka： -e CONNECT_SASL_JAAS_CONFIG="org.apache.kafka.common.security.scram.ScramLoginModule required-e STATUS_STORAGE_TOPIC="XXX.
浏览 14提问于2022-05-24得票数 0
回答已采纳
在kafka连接分布式模式下，需要通过REST提交kafka连接源和kafka连接接收器配置。卡夫卡如何利用卡夫卡集团协调人组建消费集团？
浏览 5提问于2022-09-19得票数 0
这有可能保持源和宿之间的连接并重用吗？
我们使用HTTP源、文件通道和Kafka接收器，并使用该配置，由于每个事件的源和接收器的重新连接，因此无法获得预期的吞吐量。那么，是否有可能对多个事务重用相同的HTTP和Kafka连接？(即使使用自定义源和接收器)
浏览 1提问于2015-11-18得票数 2
在连接器post请求创建过程中，我收到以下错误： error response: {"error_code":500,"message":"org.apache.kafka.connect.runtime.distributed.RebalanceNeededException: Request cannot be
浏览 22提问于2019-07-16得票数 0
我正在从Kafka主题中获取JSON数据。我需要将此数据转储到GCS (Google Cloud Storage)中的一个目录中，其中目录名将从JSON数据中的"ID“值中获取。我在谷歌上搜索，没有发现任何类似的用例，其中Kafka Connect可以用来解释JSON数据，并根据JSON数据的值动态创建目录。这可以使用Kafka连接来实现吗？
浏览 46提问于2019-03-25得票数 4
我是第一次接触kafka connect。我在服务器上配置了一个接收器连接器，用于将数据从kafka队列发送到elastic search。我已经创建了一个项目来产生数据到kafka队列。这是成功的，因为当我尝试使用Kafka consumer消费数据时，我可以看到数据。现在，我需要在Java项目中进行哪些配置，以便启动接收器连接器并将数据从Kafka队列转移到elastic search。或者这应该是自动发生的，因为连接</
浏览 4提问于2021-07-04得票数 0
卡夫卡连接节点之间是否共享分区？我的意思是，两个节点可以写到同一个分区吗？问这个问题，因为在我们的例子中，几乎所有的记录都以相同的键进入kafka，并且由于密钥是相同的，所有的记录都存储在同一个分区中。虽然我们有两个连接节点，但其中只有一个连接到目标DB。
浏览 10提问于2022-07-25得票数 0
回答已采纳
我是一个较新的码头，当我跟随建立一个码头形象与本地连接器，我有一些问题。下面是我的Dockerfile：
RUN confluent-hub install --no-prompt /tmp/kafka-con
浏览 0提问于2019-08-06得票数 1
我们有没有办法通过Kafka Connect S3接收器连接器来标记写在S3存储桶中的对象。我正在从Kafka读取消息，并使用S3接收器连接器在S3存储桶中写入avro文件。
浏览 1提问于2019-07-24得票数 1
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
