多集群上的Kafka事务

文章/答案/技术大牛

发布

1回答

apache-kafka

我在事务API中找不到答案。我认为在引擎盖下看设计可能是不可能的，但我想确认一下:如果消费者和生产者连接到不同的Kafka集群，那么有可能进行Kafka交易吗？这意味着我正在消费的主题和我正在推送的主题是在两个独立的Kafka集群上。

浏览 20提问于2019-04-26得票数 2

回答已采纳

1回答

Spring @ Kafka和DB调用之间的事务问题

java、spring-boot、apache-kafka、transactions、kafka-producer-api

我正在尝试检查Kafka和DB调用(Postgres)之间的事务状态，如果DB调用失败，那么Kafka不应该将该特定消息发送到Kafka主题。我试图借助Springboot应用程序中的@Transactional注解来实现这一点。2) DB调用失败(SQL错误：0, SQLState: 22001) 3) Kafka从IN_TRANSACTION状态到ABORTING_TRANSACTI

浏览 60提问于2019-10-31得票数 0

1回答

从iOS向Kafka主题发送消息

ios、apache-kafka

我已经在本地服务器上设置了一个多代理Kafka集群。我希望能够从iOS app.Is向这个集群中的Kafka主题发送消息，有任何可用的api可以让我实现这一点。

浏览 6提问于2016-08-30得票数 0

回答已采纳

1回答

具有多个订单者的通道中的事务排序

hyperledger-fabric

希望我对Hyperledger Fabric的理解是正确的，有人能解释一下，在一个有来自不同组织的同行的渠道中，他们每个人都有自己和独立的订单者，如何才能按正确的顺序进行交易？举个例子，客户端A向第一个组织的排序者发送事务T1和T2，客户端B向第二个组织的排序者发送事务T3和T4。所有这四笔交易都应该以正确的顺序在分类账中结束。

浏览 10提问于2018-02-24得票数 0

回答已采纳

1回答

如何设置kafka模式注册中心集群

apache-kafka、confluent-schema-registry

我已经设置了zookeeper和kafka broker集群。我想为故障转移设置多模式注册表群集。Zookeeper集群有3个节点kafka broker集群有3个节点。你能告诉我如何设置多模式注册表的详细步骤吗？我使用的是confluent 5.0版本

浏览 83提问于2020-06-17得票数 0

回答已采纳

2回答

Kafka可以从一个单独的kerberized实例中消费数据，然后路由到Splunk吗？

apache-kafka、logstash、kerberos、apache-kafka-connect、splunk

我的管道是：从文档中，我理解的是，如果Kafka Connect与Kafka的集群相同，那么这是很有可能的。但是我现在没有这个选项，因

浏览 6提问于2020-10-28得票数 0

1回答

火花流中的多Kerberos认证

linux、apache-spark、apache-kafka、spark-streaming、kerberos

我正在为Kafka开发多Kerberos认证的POC。我尝试了卡夫卡镜像制造者，复制者和apache火花流，但仍然无法通过多个krb验证使用keytab。A-Kafka-cluster.com和B-Kafka-cluster. 我想将一个主题数据从A集群复制到B集群，使用keytab进行多Kerberos身份验证。

浏览 5提问于2022-01-31得票数 0

1回答

跨两个不同群集提交事务偏移量

apache-kafka、kafka-consumer-api、kafka-producer-api

我们使用只有一次交付的处理器(通过生产者提交消费者偏移量)，并且需要了解当从kafka-cluster-1中的主题消费消息并生成到kafka-cluster-2上的主题(反之亦然)时，是否可能发生这种情况这是事务处理器中的一段代码： messageProducer.beginTransaction(partitionId) resultPublisher.publish(partitionId, resultTopicmessageProducer.s

浏览 17提问于2019-02-20得票数 0

4回答

在docker swarm上构建多节点Kafka集群

docker、apache-kafka、docker-swarm

我找到了这张卡夫卡的码头图片我可以使用链接中记录的命令轻松地创建一个docker容器这很好但是我想配置一个运行在docker集群</

浏览 2提问于2016-05-25得票数 11

1回答

在运行卡夫卡弹簧时寻求结束分区，使用集团管理？

apache-kafka、spring-kafka

我使用的是一个卡夫卡弹簧消费者，是在集团管理下。在我的使用者类中有以下代码 public class ConsumerHandler implements Receiver<String, Message>, ConsumerSeekAware {但是，有时处理的消息数量太大，消息也会增加。我已经在我的消费者身上实现了并发性，但有时消息会随着时间的推移而延迟。因此，作为一种解决办法，在我找出延迟发生的原因之前，我试图让我的消费者了解最新的信

浏览 0提问于2018-05-23得票数 1

回答已采纳

2回答

连接到Apache Kafka多节点集群中的Zookeeper

java、cluster-computing、apache-kafka、apache-zookeeper

设置多节点Apache ZooKeeper集群 server.1=zNode01:2888server.3=zNode03:2888:3888 initLimit=5在集群的每个节点上myid文件应该

浏览 2提问于2016-07-26得票数 2

回答已采纳

1回答

ArangoDB ACIDity

transactions、arangodb

我一直在阅读ArangoDB文档，我的印象是，只有在单个服务器设置或集群设置中才支持事务性和ACID属性，只要不对任何集合进行切分。我希望我误读了这些文档，也许有人会对我的误解有所启发。以下是使我得出结论的文件的链接： ./Insert.html他们都有以下形式的声明(用上述链接中列出的适当的AQL行动取代清除)：在单个服务器上<

浏览 2提问于2016-08-15得票数 3

0回答

多集群Kafka设置

cluster-computing、apache-kafka、apache-zookeeper

我想设置一个多kafka集群，大约有3个zookeeper实例，每个集群中有3个kafka代理，每个kafka代理大约有5个主题和5个分区。有没有我可以参考的安装指南？PS:我可以找到具有多个Kafka代理的单个zookeeper实例的信息，但不能找到具有多个zookeeper实例的设置。

浏览 3提问于2016-07-13得票数 0

1回答

Kafka连接-如果我不能直接访问Kafka集群，可以使用吗？

apache-kafka、apache-kafka-connect、confluent-platform

建议使用Kafka-Connect，但由于它是多租户集群，Ops团队可能无法提供直接访问，甚至无法运行插件安装命令。我们有自己的托管虚拟机，可以在其中部署应用程序实例。Ques -有没有可能通过在我们的VM上安装连接器插件而不是在Confluent Kafka上安装连接器插件来在分布式模式下运行Kafka-Connect？在Confluent Kafka上不运行任何命令的情况下，我

浏览 5提问于2020-06-18得票数 0

2回答

Kafka -有可能改变集群大小，同时保持改变对生产者和消费者透明吗？

apache-kafka

我正在对Kafka进行调查，以评估它是否适合我们的用例。你能帮我理解一下Kafka在改变现有集群大小时有多灵活吗？我正在对Kafka进行调查，以评估它是否适合我们的用例。你能帮我理解一下Kafka在不拆掉集群的情况下向现有集群添加brokers的灵活性吗？这样做的时候有什么需要注意的吗？

浏览 2提问于2019-01-08得票数 0

1回答

将幂等Kafka生成器写入多分区主题

apache-kafka

当发布到多分区主题时，幂等生产者是否必须是事务性的，以确保幂等性？在阅读了Kafka文档后，我仍然不确定它是否可以。我的环境是Kafka 1.0集群和Kafka 1.1客户端。

浏览 0提问于2018-09-26得票数 1

1回答

我们可以回滚kafka消息吗

spring-boot、apache-kafka、spring-kafka

在我的Java应用程序中，我连接到两个不同的Kafka集群(比如C1和C2)，目前我向这两个集群(C1和C2)发布了相同的消息，如下所示： firstKafkaTemplate.send(producerRecord); secondKafkaTemplate.send(producerRecord); 我想以某种事务性的方式发布消息，这样当消息发布到C1时，如果发布失败了C2，那么消息也不应该发布到C1，它应该以某种方式回滚吗

浏览 114提问于2021-09-22得票数 0

1回答

在一个Kafka流拓扑()中，是否可以有多个代理？

java、apache-kafka、spring-cloud-stream、spring-cloud-stream-binder-kafka

我们从输入主题中读取拓扑(使用binder: x地址: x)，并使用spring云流kafka流处理记录并将其写入输出主题(使用binder: y地址: y)。记录不会写入输出主题。是否应该在拓扑结构中使用相同的代理？我需要使用不同的绑定程序和代理作为输入和输出主题？我怎么才能解决这个问题？43e8-ab0b-84ec5505c2fd-StreamThread-1-producer错误，同时获取相关id 182：{inputTopic=UNKNOWN_TOPIC_OR_PARTITION}的元数据Application.y

浏览 4提问于2021-06-17得票数 0

回答已采纳

1回答

org.apache.kafka.common.errors.UnsupportedVersionException:尝试在版本1中写入非默认producerId导致的Flink Kafka* SInk*

apache-kafka、apache-flink、sink

版本: cdh(6.2.1)，flink(1.13.1)，kafka(2.1.0-cdh6.2.1) 数据管道:kafka(源) -> flink -> kafka(宿) 提交的作业运行正常。Caused by: org.apache.kafka.common.errors.UnsupportedVersionException: Attempted to write a non-default

浏览 566提问于2021-11-23得票数 0

1回答

垂直扩展Kafka集群与水平扩展Kafka集群的注意事项？

apache-kafka

我们正在计划构建一个多TB的Kafka集群。从应该处理世界上最大的Kafka集群的LinkedIn演示来看，他们似乎正在使用一些相当大的服务器。我们正计划走另一条路:推出许多小的Kafka经纪人，每个经纪人处理几GB。ps:为我们维护5台或5000台

浏览 2提问于2015-08-05得票数 3

点击加载更多