腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
根据
给定
的
主题
顺序
构思
kafka
主题
、
、
目前,我面临着一个问题,我需要按照指定
的
顺序
消费来自不同
主题
的
数据。假设我们有3个
主题
,分别称为topic-1、topic-2和topic-3。首先,我需要确保我按以下
顺序
使用
主题
。topic-2 > topic-3 > topic-1 应用程序应该侦听和读取topic-2中
的
所有消息,然后继续从topic-3消费,然后从topic-1消费。再次需要这样做,直到
主题
收到消息。使用
Kafka
可以做到这一点吗
浏览 36
提问于2021-03-02
得票数 0
回答已采纳
1
回答
数据管道设计注意事项(Filebeat,
Kafka
,Logstash,Elasticsearch)
、
、
、
我正试图解决以下数据管道
的
一些问题,并希望对此设计中
的
任何漏洞(利用Filebeat、
Kafka
、Logstash和Elasticsearch)获得一些意见。目标想法Filebeat ->
Kafka
-> Consumer (business logic)->
Kafka
-> Lo
浏览 1
提问于2018-03-27
得票数 0
1
回答
如何
有效地实现卡夫卡消费者群体不断更新
的
主题
、
、
、
我正在尝试创建一个“警报”应用程序,它必须处理来自多个
kafka
主题
的
信息。有数千个
主题
,但实际上,
根据
警报配置,在任何
给定
的
时间只需要处理几百个
主题
。如果我不断地用“订阅”更新我
的
主题
列表,那么再平衡
的
延迟可能会延迟我
的
警报。
如何
有效地实现订阅一组不断变化
的
主题
的
使用者组?
浏览 1
提问于2017-09-15
得票数 2
1
回答
卡夫卡
主题
顺序
、
、
我有一个使用如下代码
的
Kafka
连接器:ON v.tID = id 这就是我困惑
的
地方。在此连接器写入
的
流中,记录以不同
的
顺序</
浏览 16
提问于2019-11-07
得票数 2
回答已采纳
1
回答
如何
保证debezium生成
的
topic事件
顺序
,存储在
kafka
中并发送给spark?
、
、
、
我使用debezium捕获所有更改并将其发送给
kafka
。后来,我读取了Spark
的
所有信息,并使用jdbc将其发送到Apache Phoenix。我正在使用debezium和一个重路由选项,它只将所有表
的
更改发送到一个
kafka
主题
。有了这个配置,我确信我可以按
顺序
阅读spark中独特
的
kafka
主题
。但我
的
问题是:如果我使用debezium而没有重新路由选项,并且我在不同
的
kafka</
浏览 96
提问于2019-05-03
得票数 0
2
回答
获取以Java表示
的
Kafka
未消费消息数
、
、
、
我们想知道对于
给定
的
Kafka
主题
,还没有被
Kafka
Consumer消费和确认
的
消息数量。 有没有办法在Java中获得
给定
主题
(
主题
有10个分区)中未消费
的
Kafka
消息
的
计数??
浏览 3
提问于2019-10-24
得票数 3
1
回答
卡夫卡流中信息
的
无序处理
、
最近,我看到了关于Apache
Kafka
文档中有关处理
Kafka
流中
的
无序消息
的
文章。 在
主题
分区中,记录
的
时间戳可能不会随偏移量单调增加。由于
Kafka
流总是试图处理
主题
内
的
记录--按照偏移
顺序
进行分区,因此它可能导致具有较大时间戳(但偏移量较小)
的
记录比同一
主题
中具有较小时间戳(但更大偏移量)
的
记
浏览 0
提问于2019-02-04
得票数 0
1
回答
是否可以在kakfa
主题
中跨分区保持全局级别的插入
顺序
我正在考虑使用
kafka
主题
和分区
的
可能性,
kafka
主题
和分区可以维护
主题
分区之间
的
插入
顺序
。我读到
顺序
只在分区级别维护,所以有什么方法可以支持全局排序吗
浏览 7
提问于2018-01-30
得票数 0
2
回答
Kafka
自动分区
是否有计划实现
主题
自动分区,以便从公共api中删除分区逻辑?我觉得
Kafka
集群应该有一个动态分区,动态调整用户消息速率,并将单独
的
记录存储在一个或n个物理文件和机器中,以最大化吞吐量和延迟。我发现为一个
主题
创建n个分区相当于有n个
主题
浏览 32
提问于2019-12-18
得票数 1
1
回答
如何
根据
星火结构流中
的
列值将
kafka
数据保存到不同
的
位置?
、
、
我有多个
主题
要订阅,并且基于
主题
名称,数据应该被转储到定义
的
位置(不同
主题
的
不同位置)。我看到是否可以在火花数据挖掘中使用某种拆分/过滤函数来解决这个问题,但是找不到。到目前为止,我只订阅了一个
主题
,我正在使用自己
的
书面方法将数据转储到一个位置
的
拼花格式。checkpointLocation",checkpointLocation) .awaitTermina
浏览 0
提问于2019-06-25
得票数 1
1
回答
使用KafkaEmbedded不能保证消息
顺序
吗?
、
、
我使用KafkaEmbedded (和KafkaTemplate)进行了单元测试,但消息
顺序
是随机
的
。有没有人知道这是否合乎逻辑,以及这是否可能是担保
顺序
?下面是我
的
代码: public class KafkaTest { publicSystem.out.println("received:" + new String(recordIterator.next
浏览 26
提问于2019-07-04
得票数 0
回答已采纳
1
回答
Kafka
:我们可以让消费者订阅相同
的
主题
,但在
主题
中有不同
的
管道吗?
、
我有200个
Kafka
用户,他们可以做这些事情中
的
任何一个,1.他们可以订阅200个不同
的
主题
,并将消费敏感
的
消息。2.所有200个消费者可以订阅单个topic。问题: 1.创建200个或更多
的
topic是一个好
的
设计吗? 2.在第二个场景中,我们
如何
实现发布到topic
的
消息只
根据
某个参数发送给特定
的
消费者。
浏览 0
提问于2020-04-09
得票数 1
3
回答
是否有任何方法来维护卡夫卡
主题
的
分区与单个消费者之间
的
消息排序?
、
、
我们正在开发一个基于
kafka
的
流系统,在该系统中,生产者将在其
主题
中生成多个分区,而单个用户将从该
主题
中消费。我知道
kafka
在分区内维护消息
顺序
,但是我们能在
主题
中
的
分区之间维护全局消息
顺序
吗?
浏览 8
提问于2016-04-21
得票数 7
回答已采纳
1
回答
Spark Structured Streaming with foreach
、
、
")) .load()
根据
从
kafka
读取
的
消息中
的
uid,我必须对外部源进行api调用,并获取数据并写回另一个
kafka
主题
。然后通过
kafka
生产者将这些ids再次写回另一个
kafka
主题
。在100毫秒内处理单个消息
的</em
浏览 1
提问于2019-08-02
得票数 0
1
回答
在
kafka
事件驱动
的
主干中保持服务同步
、
、
、
、
假设我在系统设计中使用
Kafka
作为所有微服务
的
事件驱动主干。许多微服务使用事件数据来填充其内部数据库。现在有一个需求,我需要创建一个新服务,它使用一些事件数据。我想要一种策略,这样我就不必通过编写脚本来回填我
的
内部数据库。 我可以有哪些很酷
的
策略,不会在
Kafka
上产生巨大
的
负载,也不会考虑到我曾经创建
的
新服务中回填数据
的
大量脚本?
浏览 5
提问于2020-05-10
得票数 1
2
回答
对于有多个分区
的
主题
,
如何
保留消息序列?
、
、
我想知道关于
Kafka
如何
维护消息序列
的
信息/解释,当消息被写入多个分区
的
topic时。例如,我有多个消息生成器,每个消息生成器都
顺序
地生成消息,并使用超过1个分区在
Kafka
主题
上进行编写。在这种情况下,消费者组将
如何
工作来消费消息。
浏览 0
提问于2016-12-01
得票数 2
2
回答
无法使用
kafka
-node向
kafka
生产者发送消息
、
、
我使用
的
是
Kafka
框架提供
的
默认server.properties/zookeeper.properties文件。module.exports = {
kafka
_server: 'localhost:9092',nodejs-producer.jsconst
kaf
浏览 14
提问于2021-09-14
得票数 0
3
回答
一个
kafka
topic可以处理多少个消费群体?
、
、
假设我有一个
kafka
主题
,假设有大约10个分区,我理解每个消费者组在任何
给定
时间都应该有10个消费者阅读该
主题
,以实现最大
的
并行度。然而,我想知道在任何
给定
的
时间点,对于一个
主题
可以处理
的
消费者群体
的
数量,是否有任何直接
的
规则。(在最近
的
一次采访中,我被问到了这个问题)。据我所知,这取决于代理
的
配置,以便它可以在任何
给定
的
时间
浏览 0
提问于2019-07-09
得票数 7
2
回答
如何
定期向hadoop提供数据
、
我
的
公司每天产生大约600万条记录,我看到hadoop是处理大量数据
的
一个很好
的
解决方案。我发现了
如何
从mysql加载数据,但它正在导出完整
的
数据库,有没有办法保持我
的
mysql DB和Hadoop之间
的
数据同步?
浏览 2
提问于2020-03-07
得票数 1
1
回答
用
Kafka
管理器或
Kafka
cli减少
主题
复制因子
、
目前为
Kafka
0.9.0.1中
的
特定
主题
配置了22个副本。
如何
通过卡夫卡CLI或卡夫卡经理来做到这一点? 我找到了一种只增加副本数量
的
方法--
浏览 6
提问于2020-10-25
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
为什么Kafka中的分区数只能增加不能减少?
Kafka权威指南(一):初识Kafka
消息中间件—Kafka数据存储(一)
“事件驱动架构”Apache Kafka中的事务
“消息中间件”Apache Kafka中的事务
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券