避免Kafka数据中心之间的重复数据处理

文章/答案/技术大牛

发布

1回答

apache-kafka

在主动-主动Kafka设计中，当数据从DC1复制到DC2 (具有相同或不同区域)时。如何确保DC2使用者不会处理DC1使用者已经处理过数据？应该做什么Kafka级别的配置？

浏览 11提问于2021-02-10得票数 0

1回答

从许多不同的卡夫卡经纪人那里，用火花结构的流来消费相同话题的最好方法是什么？

apache-spark、pyspark、apache-kafka、spark-structured-streaming

我的负载分布在几个数据中心(dc)之间，每个数据中心都有自己的Kafka Broker和数据处理器，它们只为数据中心处理数据。因此，我将有代理broker1-dc1, broker1-dc2,..,broker1-dcn，所有代理都有相同的主题，例如DATA_TOPIC。我希望使用来自所有不同代理的主题DATA_TOPIC，并将这些数据保存在一个数据湖表中，我正在使用结构化流，但这不是必需的。我对火

浏览 2提问于2021-05-07得票数 0

回答已采纳

1回答

如何使用Kafka (或其他解决方案)在多个数据中心中的服务器之间组织非关键消息的交换？

architecture、enterprise-architecture、message-queue、message-passing、apache-kafka

我们需要组织一种在多个数据中心中的服务器之间交换消息的方法。消息并不重要。我们只需要能够从任何数据中心的任何服务器发送消息到任何数据中心中的任何其他服务器。我们正在考虑使用Kafka作为这个用例的消息代理，但我们不确定它是否是一个好的选择。正如我们所理解的，如果集群分布在多个数据中心之间，Kafka将无法正常工作(因为它必须与Z

浏览 0提问于2017-10-29得票数 3

回答已采纳

1回答

如何计算分布式系统中大量数据的分布(直方图)？

algorithm、histogram、distribution、aggregation、codahale-metrics

我正在构建一个包含100,000多个前端实例的实例群上的度量报告系统。对于任何请求，每个实例都有一个响应时间。我需要的是所有请求的响应时间在整个舰队中的分布。我尝试了很多设计，我的主要痛处是我收集到的每一个requestType的数据点的巨大大小，以及实例间通信的开销。我将在下面解释我目前的设计，但我也想知道是否有更好的设计或一些奇特的算法可以聚合直方图？。目前

浏览 2提问于2015-05-27得票数 6

2回答

如何设置Apache用户通过互联网获取数据？

apache-kafka、kafka-consumer-api、kafka-producer-api

我在两台不同的服务器上配置了2Kafka的基本设置，一个在英国，另一个在印度。我的场景非常简单，英国是出版商，印度是消费者，但它们都无法获得任何数据。我该如何设置我的卡夫卡来做到这一点？或者，卡夫卡有可能做到这一点吗？

浏览 6提问于2016-08-28得票数 2

回答已采纳

3回答

IoT网关与云服务器消息传递

java、websocket、mqtt、iot

我正在用我的云服务器实现IoT网关(在每个前提中运行)。我设计的方法是，IoT网关通过网络套接字与云服务器建立连接，接收来自移动设备的命令。通过互联网连接的移动设备将命令传递给云服务器，然后将命令发送到IoT网关。我想实时接收所有的命令--什么是写命令的最佳选项，IoT网关应该监听它的数据 PUB/SUB机制(Kafka/

浏览 1提问于2017-06-09得票数 0

1回答

如何决定微服务的数量以及是否拥有通用jars

spring-boot、api、microservices

我有3个微服务，一个服务于来自UI的请求，另一个服务于公共apis的请求，第三个服务执行一些数据处理，并通过UI/public存储kafka主题提供的数据。如果我没有公共服务/dao，那么很多代码将会重复。这是正确的设计吗？

浏览 0提问于2020-05-11得票数 0

1回答

Kafka镜像跳过某些主题

apache-kafka

我在两个数据中心之间使用kafkaMirror。我将kafka与主题A和B一起使用，它们分别在每个数据中心工作得很好，但当使用kafkaMirror时，奇怪的是只有一个主题被复制。我的配置：--num.stream=4--白名单=A|B 任何帮助都将不胜感激！

浏览 0提问于2017-11-29得票数 0

1回答

Kafka Producer，多DC故障切换支持

apache-kafka、kafka-producer-api

我有两个不同的kafka集群位于不同的数据中心- DC1和DC2。如何组织两个DC之间的kafka producer故障切换？如果主kafka集群(DC1)不可用，我希望producer切换到故障转移kafka集群(DC2)并继续发布到它？生产者也应该能够切换回主群集，一旦它可用。有什么好的模式，现有的库，方法，代码示例吗？

浏览 2提问于2018-04-03得票数 3

2回答

卡夫卡支持安全通信吗？

apache-kafka

我已经阅读了很多Apache文档，但是无法找到Kafka是否支持生产者-经纪人、经纪人-消费者之间的安全通信，尤其是支持代理复制的数据中心通信。

浏览 3提问于2014-02-25得票数 9

回答已采纳

1回答

Spring :减少多文档yml文件中的配置重复

spring-boot

就像这样：some.label: kafkaspring.config.activate.on-profile: xyz & stage我知道我可以在开始时在“公共配置”部分中添加普通的kafka配置，但这也会添加到不需要它的我还考虑过完全创建一个新的配置文件，并在调

浏览 3提问于2021-07-27得票数 1

回答已采纳

1回答

为什么在实时处理中使用apache kafka？

apache-kafka、apache-storm、apache-flink

最近我一直在研究利用风暴，flink等进行实时数据处理.我所介绍的所有架构都使用kafka作为数据源和流处理器之间的一个层，为什么这个层应该存在？

浏览 3提问于2017-04-13得票数 5

回答已采纳

2回答

如何在kafka中进行全复制？

apache-kafka、apache-kafka-mirrormaker

如何在kafka中进行全复制？如何确保当引导者拒绝(关闭)时，发送给跟随者的所有消息也会在打开后出现在引导者上。我知道启动时的一个选择: Kafka有一个内置的bin/kafka-mirror-maker.sh同步程序。它应该总是在领导者上运行，然后发送到它的消息也会发送到追随者。在leader开启后，同步后(即消息开始只到leader的时刻)，该服务也应该在leader上启动，在follower上

浏览 3提问于2020-04-24得票数 0

1回答

RDD对任务失败的重新计算会导致重复的数据处理吗？

apache-spark、rdd、exactly-once

当某个特定任务失败，导致RDD从沿袭(可能是通过再次读取输入文件)重新计算时，Spark如何确保没有重复的数据处理？如果失败的任务将一半的数据写入某些输出，如HDFS或Kafka，该怎么办？

浏览 2提问于2021-06-12得票数 0

回答已采纳

1回答

使用DNS访问Kafka集群

apache-kafka、kafka-consumer-api

我们正在我们的生产系统中运行Kafka集群(3个物理节点)，我们的应用程序将事件推送给由某个不同团队拥有的Kafka消费者消费的Kafka。Problem：现在，每当我们在数据中心进行更改时，从DC1到DC2，我们的卡夫卡IP就会有变化，我们必须要求我们的用户对IP进行更改，并在它们的末尾进行部署，这在我看来很奇怪。问题：我们是否可以在从DC1转移到DC2时暴露DNS背后的Kafka代理并更改DNS

浏览 2提问于2020-02-21得票数 0

2回答

Kafka复制器:使用kafka Streams的ConsumerTimestampsInterceptor？

apache-kafka、apache-kafka-streams

我们正在尝试在两个数据中心之间复制我们的偏移量。consumer.interceptor.classes=io.confluent.connect.replicator.offsets.ConsumerTimestampsInterceptorkafka.streams.properties.consumer.interceptor.classes=io.confluent.connect.replicat

浏览 28提问于2021-06-09得票数 0

回答已采纳

1回答

数据中心之间的节流

qos、bandwidth、udp、throughput

一般来说，数据中心之间的链接是共享的(具有共享的网络基础设施)。因此，我无法检测两个数据中心之间的可用带宽，这些带宽每隔一段时间就会发生变化。连续地，我无法通过在这样的链接中提交我的UDP数据包来控制网络，因为我担心丢包和消息丢失。有没有任何方法可以立即和重复地检测两个数据中心之间的可用带宽，以便我可以用我的数据包来控制它？

浏览 0提问于2015-06-20得票数 7

回答已采纳

1回答

Kafka集群从纯文本更新到SASL_PLAINTEXT，无法使Mirrormaker正常工作

apache-kafka

我们在两个数据中心有两个独立的kafka集群，并配置了Mirrormaker来复制一组主题。每个数据中心使用kafka和mirrormaker运行3个节点。此安装程序运行正常。我在所有三个节点上的一个数据中心配置了SASL_PLAINTEXT：Djava.security.auth.login.config=/etc/kafka端口

浏览 3提问于2018-11-12得票数 2

2回答

如果消费者更多地分割，卡夫卡消费者是如何工作的？

apache-kafka

请任何人解释和指导我的链接或资源阅读卡夫卡消费者如何在以下情况下工作。一个包含5个消费者的消费者组和3个分区的主题( kafka如何决定) 两个消费者组，每个用户一个和两个服务器组成的kafka集群，其中一个主题被划分在节点1和节点2之间，当来自不同组的消费者订阅一个分区时，如何避免重复</

浏览 1提问于2019-04-05得票数 0

1回答

将Akka与apache spark streaming和Kafka一起使用？

apache-spark、akka、akka-stream

下面是我正在尝试的高级用例。我们有发布到Kafka主题的学生数据流，我们的模块必须以流的形式读取学生ids，并从多个来源获取每个学生的关联数据，然后为每个学生执行一些计算，并将每个学生的关联计算发布到kafka主题中。因此，这里的问题是更好地编写一个大的Spark作业或使用Akka为每个源提供单独的服务，以便参与者可以并行工作，获取一堆学生it，并从各自的源获取数据，并执行一些簇转

浏览 2提问于2017-07-14得票数 1

点击加载更多