腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
避免
Kafka
数据中心
之间
的
重复
数据处理
apache-kafka
在主动-主动
Kafka
设计中,当数据从DC1复制到DC2 (具有相同或不同区域)时。如何确保DC2使用者不会处理DC1使用者已经处理过数据?应该做什么
Kafka
级别的配置?
浏览 11
提问于2021-02-10
得票数 0
1
回答
从许多不同的卡夫卡经纪人那里,用火花结构
的
流来消费相同话题
的
最好方法是什么?
apache-spark
、
pyspark
、
apache-kafka
、
spark-structured-streaming
我
的
负载分布在几个
数据中心
(dc)
之间
,每个
数据中心
都有自己
的
Kafka
Broker和
数据处理
器,它们只为
数据中心
处理数据。因此,我将有代理broker1-dc1, broker1-dc2,..,broker1-dcn,所有代理都有相同
的
主题,例如DATA_TOPIC。我希望使用来自所有不同代理
的
主题DATA_TOPIC,并将这些数据保存在一个数据湖表中,我正在使用结构化流,但这不是必需
的
。我对火
浏览 2
提问于2021-05-07
得票数 0
回答已采纳
1
回答
如何使用
Kafka
(或其他解决方案)在多个
数据中心
中
的
服务器
之间
组织非关键消息
的
交换?
architecture
、
enterprise-architecture
、
message-queue
、
message-passing
、
apache-kafka
我们需要组织一种在多个
数据中心
中
的
服务器
之间
交换消息
的
方法。消息并不重要。我们只需要能够从任何
数据中心
的
任何服务器发送消息到任何
数据中心
中
的
任何其他服务器。我们正在考虑使用
Kafka
作为这个用例
的
消息代理,但我们不确定它是否是一个好
的
选择。正如我们所理解
的
,如果集群分布在多个
数据中心
之间
,
Kafka
将无法正常工作(因为它必须与Z
浏览 0
提问于2017-10-29
得票数 3
回答已采纳
1
回答
如何计算分布式系统中大量数据
的
分布(直方图)?
algorithm
、
histogram
、
distribution
、
aggregation
、
codahale-metrics
我正在构建一个包含100,000多个前端实例
的
实例群上
的
度量报告系统。对于任何请求,每个实例都有一个响应时间。我需要
的
是所有请求
的
响应时间在整个舰队中
的
分布。我尝试了很多设计,我
的
主要痛处是我收集到
的
每一个requestType
的
数据点
的
巨大大小,以及实例间通信
的
开销。我将在下面解释我目前
的
设计,但我也想知道是否有更好
的
设计或一些奇特
的
算法可以聚合直方图?。 目前
浏览 2
提问于2015-05-27
得票数 6
2
回答
如何设置Apache用户通过互联网获取数据?
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
我在两台不同
的
服务器上配置了2
Kafka
的
基本设置,一个在英国,另一个在印度。我
的
场景非常简单,英国是出版商,印度是消费者,但它们都无法获得任何数据。我该如何设置我的卡夫卡来做到这一点?或者,卡夫卡有可能做到这一点吗?
浏览 6
提问于2016-08-28
得票数 2
回答已采纳
3
回答
IoT网关与云服务器消息传递
java
、
websocket
、
mqtt
、
iot
我正在用我
的
云服务器实现IoT网关(在每个前提中运行)。我设计
的
方法是,IoT网关通过网络套接字与云服务器建立连接,接收来自移动设备
的
命令。通过互联网连接
的
移动设备将命令传递给云服务器,然后将命令发送到IoT网关。我想实时接收所有的命令--什么是写命令
的
最佳选项,IoT网关应该监听它
的
数据 PUB/SUB机制(
Kafka
/
浏览 1
提问于2017-06-09
得票数 0
1
回答
如何决定微服务
的
数量以及是否拥有通用jars
spring-boot
、
api
、
microservices
我有3个微服务,一个服务于来自UI
的
请求,另一个服务于公共apis
的
请求,第三个服务执行一些
数据处理
,并通过UI/public存储
kafka
主题提供
的
数据。如果我没有公共服务/dao,那么很多代码将会
重复
。这是正确
的
设计吗?
浏览 0
提问于2020-05-11
得票数 0
1
回答
Kafka
镜像跳过某些主题
apache-kafka
我在两个
数据中心
之间
使用kafkaMirror。我将
kafka
与主题A和B一起使用,它们分别在每个
数据中心
工作得很好,但当使用kafkaMirror时,奇怪
的
是只有一个主题被复制。我
的
配置:--num.stream=4--白名单=A|B 任何帮助都将不胜感激!
浏览 0
提问于2017-11-29
得票数 0
1
回答
Kafka
Producer,多DC故障切换支持
apache-kafka
、
kafka-producer-api
我有两个不同
的
kafka
集群位于不同
的
数据中心
- DC1和DC2。如何组织两个DC
之间
的
kafka
producer故障切换?如果主
kafka
集群(DC1)不可用,我希望producer切换到故障转移
kafka
集群(DC2)并继续发布到它?生产者也应该能够切换回主群集,一旦它可用。有什么好
的
模式,现有的库,方法,代码示例吗?
浏览 2
提问于2018-04-03
得票数 3
2
回答
卡夫卡支持安全通信吗?
apache-kafka
我已经阅读了很多Apache文档,但是无法找到
Kafka
是否支持生产者-经纪人、经纪人-消费者
之间
的
安全通信,尤其是支持代理复制
的
数据中心
通信。
浏览 3
提问于2014-02-25
得票数 9
回答已采纳
1
回答
Spring :减少多文档yml文件中
的
配置
重复
spring-boot
就像这样:some.label:
kafka
spring.config.activate.on-profile: xyz & stage我知道我可以在开始时在“公共配置”部分中添加普通
的
kafka
配置,但这也会添加到不需要它
的
我还考虑过完全创建一个新
的
配置文件,并在调
浏览 3
提问于2021-07-27
得票数 1
回答已采纳
1
回答
为什么在实时处理中使用apache
kafka
?
apache-kafka
、
apache-storm
、
apache-flink
最近我一直在研究利用风暴,flink等进行实时
数据处理
.我所介绍
的
所有架构都使用
kafka
作为数据源和流处理器
之间
的
一个层,为什么这个层应该存在?
浏览 3
提问于2017-04-13
得票数 5
回答已采纳
2
回答
如何在
kafka
中进行全复制?
apache-kafka
、
apache-kafka-mirrormaker
如何在
kafka
中进行全复制?如何确保当引导者拒绝(关闭)时,发送给跟随者
的
所有消息也会在打开后出现在引导者上。我知道启动时
的
一个选择:
Kafka
有一个内置
的
bin/
kafka
-mirror-maker.sh同步程序。它应该总是在领导者上运行,然后发送到它
的
消息也会发送到追随者。在leader开启后,同步后(即消息开始只到leader
的
时刻),该服务也应该在leader上启动,在follower上
浏览 3
提问于2020-04-24
得票数 0
1
回答
RDD对任务失败
的
重新计算会导致
重复
的
数据处理
吗?
apache-spark
、
rdd
、
exactly-once
当某个特定任务失败,导致RDD从沿袭(可能是通过再次读取输入文件)重新计算时,Spark如何确保没有
重复
的
数据处理
?如果失败
的
任务将一半
的
数据写入某些输出,如HDFS或
Kafka
,该怎么办?
浏览 2
提问于2021-06-12
得票数 0
回答已采纳
1
回答
使用DNS访问
Kafka
集群
apache-kafka
、
kafka-consumer-api
我们正在我们
的
生产系统中运行
Kafka
集群(3个物理节点),我们
的
应用程序将事件推送给由某个不同团队拥有的
Kafka
消费者消费
的
Kafka
。Problem:现在,每当我们在
数据中心
进行更改时,从DC1到DC2,我们的卡夫卡IP就会有变化,我们必须要求我们
的
用户对IP进行更改,并在它们
的
末尾进行部署,这在我看来很奇怪。问题:我们是否可以在从DC1转移到DC2时暴露DNS背后
的
Kafka
代理并更改DNS
浏览 2
提问于2020-02-21
得票数 0
2
回答
Kafka
复制器:使用
kafka
Streams
的
ConsumerTimestampsInterceptor?
apache-kafka
、
apache-kafka-streams
我们正在尝试在两个
数据中心
之间
复制我们
的
偏移量。consumer.interceptor.classes=io.confluent.connect.replicator.offsets.ConsumerTimestampsInterceptor
kafka
.streams.properties.consumer.interceptor.classes=io.confluent.connect.replicat
浏览 28
提问于2021-06-09
得票数 0
回答已采纳
1
回答
数据中心
之间
的
节流
qos
、
bandwidth
、
udp
、
throughput
一般来说,
数据中心
之间
的
链接是共享
的
(具有共享
的
网络基础设施)。因此,我无法检测两个
数据中心
之间
的
可用带宽,这些带宽每隔一段时间就会发生变化。连续地,我无法通过在这样
的
链接中提交我
的
UDP数据包来控制网络,因为我担心丢包和消息丢失。 有没有任何方法可以立即和
重复
地检测两个
数据中心
之间
的
可用带宽,以便我可以用我
的
数据包来控制它?
浏览 0
提问于2015-06-20
得票数 7
回答已采纳
1
回答
Kafka
集群从纯文本更新到SASL_PLAINTEXT,无法使Mirrormaker正常工作
apache-kafka
我们在两个
数据中心
有两个独立
的
kafka
集群,并配置了Mirrormaker来复制一组主题。每个
数据中心
使用
kafka
和mirrormaker运行3个节点。此安装程序运行正常。我在所有三个节点上
的
一个
数据中心
配置了SASL_PLAINTEXT:Djava.security.auth.login.config=/etc/
kafka
端口
浏览 3
提问于2018-11-12
得票数 2
2
回答
如果消费者更多地分割,卡夫卡消费者是如何工作
的
?
apache-kafka
请任何人解释和指导我
的
链接或资源阅读卡夫卡消费者如何在以下情况下工作。一个包含5个消费者
的
消费者组和3个分区
的
主题(
kafka
如何决定) 两个消费者组,每个用户一个和两个服务器组成
的
kafka
集群,其中一个主题被划分在节点1和节点2
之间
,当来自不同组
的
消费者订阅一个分区时,如何
避免
重复</
浏览 1
提问于2019-04-05
得票数 0
1
回答
将Akka与apache spark streaming和
Kafka
一起使用?
apache-spark
、
akka
、
akka-stream
下面是我正在尝试
的
高级用例。我们有发布到
Kafka
主题
的
学生数据流,我们
的
模块必须以流
的
形式读取学生ids,并从多个来源获取每个学生
的
关联数据,然后为每个学生执行一些计算,并将每个学生
的
关联计算发布到
kafka
主题中。因此,这里
的
问题是更好地编写一个大
的
Spark作业或使用Akka为每个源提供单独
的
服务,以便参与者可以并行工作,获取一堆学生it,并从各自
的
源获取数据,并执行一些簇转
浏览 2
提问于2017-07-14
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
【大数据】KSQL初体验
公共安全领域 Kafka 应用实践
学习Kafka,先从这四个基础概念入手
分布式kafka技术要点详解(一)
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券