腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
消息
到
分区
分配、排序和
分区
编号调整
apache-kafka
正如我所理解的,如果我
在
我的
主题
中使用键控
消息
,kafka
分区
器将始终以相同的键向同一个
分区
发送
消息
,这将确保对
特定
消息
集的排序。此外,默认
分区
程序将根据该
特定
主题
可用的
分区
数量,最初作出向哪个
分区
发送
消息
的决定。有点像messageKeyHash % numberOfPartitions。我的问题是,如果我有
浏览 5
提问于2017-06-29
得票数 0
回答已采纳
1
回答
如何在启用
分区
的情况下接收
主题
消息
c#
、
azure
、
azureservicebus
我已经为
主题
启用了
分区
,
在
发送
消息
的同时,我还添加了PartitionKey信息。IEnumerable<BrokeredMessage> messages = mr.PeekBatch(100); 如果你有任何想法,我将不胜感激。
浏览 2
提问于2018-10-17
得票数 1
3
回答
kafka producer
中
的两种不同类型的
分区
apache-kafka
在
卡夫卡制片人中,我
发送
了两组不同的数据。对于这个
主题
,我有两个
分区
。第一个是带钥匙的,第二个是没有键的。据我所知,键用于为数据创建
分区
。如果密钥不存在,则将
发送
null,并且
分区
将通过循环调度而发生。除了使用键生成的
分区
外,还会发生循环调度吗?还是会发生在这两个
分区
上?
浏览 3
提问于2020-01-03
得票数 1
1
回答
如果我要
发送
消息
的
分区
已满,Kafka会在同一
主题
中选择另一个
分区
吗?
apache-kafka
、
kafka-topic
、
kafka-partition
我的
主题
有3个
分区
(
在
3个不同的代理
中
)。我想将
消息
发送
到
特定
的
分区
1(添加
分区
id或在我的
消息
中指定一个键)。假设
分区
1充满了磁盘,是否为该
消息
选择了替代
分区
(
在
本例
中
为
分区
2或
分区
3)?
浏览 31
提问于2020-10-07
得票数 1
回答已采纳
4
回答
Kafka:生产者如何才能只
发送
给某个Consumer/GroupId
apache-kafka
自从我开始使用Kafka以来,我注意到Kafka正在广播每个消费者或群体的
消息
。如何让生产者只将
消息
发送
给某个
特定
的消费者?我说的是一个
主题
系统谢谢
浏览 1
提问于2018-01-04
得票数 0
2
回答
卡夫卡在新闻馈送
中
的应用
apache-kafka
、
feed
我是否可以为不同类型的更新创建名为update_i的
主题
,并在Kafka中使用user_id对它们进行
分区
?我读过confluent.io:的这篇文章。而且,我知道我不能创建一个具有动态
分区
数的
主题
。这两个事实(文章和卡夫卡
分区
的静态数量)。交付机制的替代方案是什么?
浏览 2
提问于2017-01-04
得票数 0
2
回答
Kafka和时间戳
在
单个
主题
分区
内的摄取时间排序
apache-kafka
、
timestamp
当独占地从Kafka
主题
中的单个
分区
读取
消息
时,其中时间戳被配置为摄取(代理)时间,我是否可以假设从该
分区
检索的所有
消息
都将始终按照严格的时间戳顺序?
浏览 0
提问于2019-01-21
得票数 1
2
回答
在
特定
主题
分区
中
发送
消息
java
、
spring
、
apache-kafka
、
spring-cloud-stream
生产者有没有办法将
消息
发送
到代理
中
特定
的
主题
部分? 到目前为止,我可以
发送
有2个
分区
的
主题
,但不能控制
发送
到
特定
的
分区
。我希望一些
消息
放在P1
分区
中
,一些
消息
放到meetupTopic
中
的P2
分区
。
浏览 25
提问于2020-10-22
得票数 0
回答已采纳
3
回答
KafKa
分区
器类,使用键将
消息
分配给
主题
内的
分区
。
apache-kafka
我对卡夫卡很陌生,所以如果我听起来很蠢,就道歉,但我现在所理解的是.
消息
流可以定义为一个
主题
,就像一个类别。每个
主题
被划分为一个或多个
分区
(每个
分区
可以有多个副本)。所以他们的行为是平行的 生产者可以
在
主题
中选择要分配给哪个
分区
的
消息
。这可以以循环的方式完成,只需平衡负载,也可以根据某些语义
分区
函数(例如,基于
消息
中
的某个键)来完成。这是否意味着
在</e
浏览 1
提问于2013-08-13
得票数 31
1
回答
蔚蓝服务总线
中
的
分区
消息
路由算法是什么?
azureservicebus
我希望确保我的
消息
在
服务总线
中
的
分区
之间均匀分布。我们目前正在
发送
消息
,并将sessionId设置为id.ToString(),其中Id是整数。然而,我想知道,这是否足以很好地分发信息。在这个示例
中
,我可以看到会话in是以“会话”作为前缀的。 这跟我的问题是巧合吗?或者,如果我的sessionId将从一个整数中派生出来,我应该这样做吗?这里需要关注的是,如果服务总线使用远程
分区
方案,比如服务结构,那么彼此接近的整数值将放置
在
同一个<e
浏览 6
提问于2017-08-09
得票数 0
2
回答
apache kafka
中
的负载平衡
load-balancing
、
apache-kafka
我是阿帕奇卡夫卡的新手,我一直
在
玩它。如果我有两个代理和一个有4个
分区
的
主题
,并且假设我的一个代理负载很重,kafka会负责平衡从生产者到另一个免费代理的传入流量吗?如果是这样的话,是如何做到的?
浏览 4
提问于2015-12-10
得票数 4
2
回答
如何使用Apache进行内容过滤?
java
、
apache-kafka
有一个生产者和两个消费者为这一
主题
。我需要做的是过滤由生产者产生的
消息
,根据它们的前缀。例如,如果
消息
以'a‘前缀开头,那么只有第一个使用者必须接受它。我做了很多搜索,我发现的是过滤来自一个
主题
的
消息
,然后在过滤后将它们
发送
到不同的
主题
。但如前所述,我需要对一个
主题
进行过滤。我怎么能在卡夫卡做到这一点?
浏览 1
提问于2018-03-01
得票数 4
回答已采纳
2
回答
主题
、
分区
和键
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
在
卡夫卡的纪录片中,我发现了以下几点: Kafka只对一个
分区
内的
消息
提供一个总的顺序,而不是
在
一个
主题
中的不同
分区
之间提供一个总的顺序。对于大多数应用程序来说,每个
分区
排序和按键对数据进行
分区
的能力是足够的。但是,如果您需要对
消息
进行总体排序,这可以通过只有一个
分区
的
主题
来实现,尽管这意味着每个使用者组只需要一个使用者进程。我看到,当使用生产者向
主题
发送
浏览 4
提问于2016-05-29
得票数 52
回答已采纳
1
回答
卡夫卡多个生产者对
特定
的同一
分区
apache-kafka
、
kafka-producer-api
、
spring-kafka
使用spring模板,我有两个不同的生产者,它们以相同的键
发送
不同的
消息
给
主题
,总是以相同的形式:生产者2:
发送
密钥:2
消息
: def 我有3个
分区
,所有
消息
都根据
消息
键
发送
到相同的位置现在,我需要确保,根据某些属性,
特定
的
消息
将传递到
特定
的
分区
,以便能够管理系统<
浏览 1
提问于2019-05-17
得票数 0
回答已采纳
2
回答
在
Kafka
中
,每个
消息
是否被复制到一个
主题
的所有
分区
?
apache-kafka
如果一个
主题
有4个
分区
,并且发布者向
主题
发送
一条
消息
,那么该
消息
是在所有四个
分区
之间复制还是只
在
一个
分区
中
复制?
浏览 1
提问于2017-06-27
得票数 43
回答已采纳
2
回答
数据
中
kafka
主题
分词的数量和不同键的数目
apache-kafka
、
partition
、
kafka-topic
我的问题是,
主题
中的
分区
数是否等于传入数据
中
的不同键数。我已经知道,使用键/值模式,具有相同键的数据将转到同一个
分区
。因此,如果
分区
的数量不等于数据
中
的不同键数,那么我们可以
在
同一个
分区
中
拥有不同的键吗?在这种情况下,如何保持数据顺序?
浏览 3
提问于2020-02-18
得票数 0
回答已采纳
3
回答
如果在收到create
消息
之前收到了update
消息
,该如何处理kafka
消息
?
apache-kafka
、
kafka-consumer-api
、
spring-kafka
我们有多个kafka
分区
。因此,假设create
消息
发送
到
分区
1,update
消息
发送
到
分区
2。 现在的问题是,有时update
浏览 0
提问于2021-05-06
得票数 1
1
回答
消费者如何确保与卡夫卡制片人的一致性?
apache-kafka
例如,我只有一个代理和一个名为“topic”的
主题
,它有3个
分区
和2个副本。当生产者向
主题
发送
3条
消息
时, 当使用者从本
主题
读取数据时,应该如何确保
消息
顺
浏览 2
提问于2016-06-22
得票数 1
回答已采纳
1
回答
动态启动和关闭KafkaListener,只是为了
在
会话开始时加载以前的
消息
spring-boot
、
apache-kafka
、
messaging
、
spring-kafka
我为kafkalistener编写了一个工作代码,用于从
主题
的(offset=0)开始读取
消息
(始终在运行)。对于我的用例(
消息
传递),我需要2件事: 总是捕获
特定
主题
/
分区
的新
消息
(这个使用者总是在运行),并
发送
到前端websocket+stomp。(我已经有了这个部分)启动新的使用者以从开始到当前获取
特定
主题
/
分区
的
消息
,只有在前端信号发出之后才停止,这样这
浏览 7
提问于2020-05-22
得票数 0
1
回答
代理的数量和
分区
的数量会影响
分区
领导选举吗?
apache-kafka
我正在尝试理解
分区
的数量会如何影响
分区
领导者(代理)?现在,假设我使用密钥key1向
主题
A
发送
一条
消息
,并假设基于
分区
策略,该
消息
最终被重定向到
主题
A的
分区
5,并且
主题
A的
分区
5的领导者是broke
浏览 8
提问于2020-02-18
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
公众号内测不占用群发次数,支持一天多次发送,并且不会显示在公众号的图文历史消息中。
揭秘Kafka从入门到精通,架构最全详解
Hadoop进级教程之-Kafka架构原理
Kafka之安装部署
聊聊 Pulsar: Pulsar 的核心概念与基础架构
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券