腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6488)
视频
沙龙
1
回答
卡夫卡
主题
分区
函数-配置问题
apache-kafka
我正试图用
librdkafka
(c代码库)编写一个
Kafka
生产者
。我不希望我
的
应用程序必须通过
主题
上
的
分区
数手动循环。在
Kafka
生产者
的
Java版本
中
,这可以通过不指定
分区
或键来实现。“图书馆员”
中
的
文件规定如下: * - RD_
浏览 2
提问于2018-10-26
得票数 4
1
回答
kafka
自定义
分区
和重新
分区
apache-kafka
、
partitioning
、
kafka-topic
我们可以为
kafka
主题
指定自定义分割器。因此,
kafka
生产者
可以根据特定
的
自定义算法将消息确定地发送到特定
的
分区
。 现在
的
问题是,当我增加
分区
数量时,
kafka
将
如何
在
新
分区
之间重新分配现有消息?或者
Kafka
不会将消息分发到
新
分区
?有可能触发这种重新分配吗?如果是这样,那么
kafka
将<
浏览 6
提问于2020-09-15
得票数 1
1
回答
librdkafka
生产者
如何
了解
Kafka
中
的
新
主题
分区
apache-kafka
、
kafka-producer-api
、
librdkafka
我正在运行rdkafka_simple_producer.c来向
Kafka
集群生成消息。我有一个
主题
和30个
分区
。使用默认
的
循环
分区
程序。在
生产者
工作并向
Kafka
生成消息
的
同时,我向
Kafka
添加了更多
的
分区
kafka
/bin/
kafka
-topics.sh --alter --zookeeper server2:2181 --topicd
浏览 12
提问于2019-02-07
得票数 3
回答已采纳
2
回答
如何
使用
librdkafka
更改运行
中
的
kafka
主题
的
保留时间
c++
、
apache-kafka
我们可以在
kafka
机器中使用以下命令来更新运行
中
的
kafka
主题
的
保留时间: bin/
kafka
-topics.sh --zookeeper <
kafka
_ip> --alter --topic <target_topic> --config retention.ms=86400000 但我不想登录到
kafka
机器并运行该命令。我只想使用C或C++来更改远程
生产者
机器
中</
浏览 66
提问于2020-12-10
得票数 1
1
回答
在动态环境中使用Apache
apache-kafka
我是卡夫卡
的
新手,我使用
的
是0.8.2版本。我没有得到以下问题
的
答案。 如果一个代理在
kafka
集群中有一个
主题
和
分区
。如果将一个
新
代理添加到集群
中
,则我
的
生产者
正在发送消息。然后,
如何
配置我
的
主题
来为
新
代理添加
浏览 1
提问于2015-05-08
得票数 0
2
回答
在
分区
创建中
的
Kafka
数据行为
apache-kafka
我正在测试在运行
中
的
系统
中
添加
Kafka
分区
,但我不清楚
Kafka
是
如何
管理现有数据
的
,如果您将
分区
添加到现有的
主题
中。例如: 我修改
主题
以添加另一个
分区
。在这种情况下,<
浏览 0
提问于2018-04-12
得票数 1
回答已采纳
1
回答
Kafka
如何
处理
分区
溢出?
apache-kafka
、
producer-consumer
我开始使用
Kafka
,并试图
了解
当
Kafka
集群
中
的
主题
分区
填满超过其限制时会发生什么。我知道一个
分区
驻留在同一个节点上,但不同
的
分区
驻留在不同
的
节点上。如果我在
Kafka
生产者
中使用自定义
分区
逻辑,其中某个键总是指向某个
分区
,那么当该
分区
变满时会发生什么?是否将具有该密钥
的
消息发送到随机<e
浏览 13
提问于2018-01-14
得票数 1
回答已采纳
2
回答
Kafka
-有可能改变集群大小,同时保持改变对
生产者
和消费者透明吗?
apache-kafka
我正在对
Kafka
进行调查,以评估它是否适合我们
的
用例。你能帮我理解一下
Kafka
在改变现有集群大小时有多灵活吗? 我正在对
Kafka
进行调查,以评估它是否适合我们
的
用例。你能帮我理解一下
Kafka
在不拆掉集群
的
情况下向现有集群添加brokers
的
灵活性吗?这样做
的
时候有什么需要注意
的
吗?
浏览 2
提问于2019-01-08
得票数 0
1
回答
Apache
Kafka
精确地一次处理id对
新
的
获取请求生成器隔离方法
的
影响
apache-kafka
、
spring-kafka
、
confluent-platform
、
exactly-once
在早期版本
的
Kafka
中
,在使用者组不匹配期间,一旦语义静态映射应该在事务id和
主题
分区
之间进行,事务id就有可能得到不同
的
主题
分区
。为了避免这种情况,实现了,从KIP-477
中
了解
到,旧
的
生产者
在
新
API(sendOffsetToProdcuer)
的
帮助下使用fetch偏移调用进行了隔离,因此transactio.id不用于击剑。但我怀疑<em
浏览 6
提问于2021-04-22
得票数 1
回答已采纳
3
回答
从
Kafka
客户端增加
Kafka
主题
中
的
分区
数
apache-kafka
我是Apache
的
新用户,我还在
了解
内部信息。在增加
分区
大小方面,我发现了其他类似的,但它们使用
的
是动物园管理员配置。但是我
的
kafkaProducer只有卡夫卡代理配置,但没有动物园管理员配置。 是否有任何方法可以从
生产者
端增加
主题
的
分区
数
浏览 10
提问于2016-08-23
得票数 4
回答已采纳
1
回答
Kafka
C API客户端发送方线程数
apache-kafka
、
kafka-producer-api
我在Linux上使用
的
是
librdkafka
-0.11.5 for C。我
的
C/C++应用程序只是将
Kafka
数据发送到web服务器,该服务器使用ElasticSearch驱动
Kafka
消费者。看起来在
生产者
端,
Kafka
为每个Unix进程增加了8(8)个内部线程。这给我们带来了一个问题,因为我们对每个Linux机器
的
线程数量有一个硬性限制。 有没有人知道为什么增加了8个线程?会不会是因为我
的
Linux机器有4个CPU,并且
浏览 0
提问于2018-10-04
得票数 0
2
回答
Kafka
实现消息过滤
的
最佳方式
apache-kafka
想知道下面这种情况
的
最好方法。我应该有1个
主题
和
分区
数等于no吗?并在发布消息时使用key,因此每个
分区
将由一个特定
的
消费者使用。或者每个消费者一个
主题
,每个<e
浏览 6
提问于2020-04-22
得票数 0
1
回答
扩容
分区
时
的
Kafka
主题
排序
apache-kafka
、
kafka-consumer-api
、
producer-consumer
考虑到您
的
生产者
为系统
的
用户创建消息,并且这些消息
的
顺序在用户级别很重要。我
的
生产者
将消息添加到有两个
分区
的
主题
中,我使用针对user_id
的
散列将每个用户
的
所有消息放在相同
的
分区
中
,以保证顺序。
如何
在保持消息顺序
的
同时,扩展系统并向
主题
添加更多
分区
?
Kafka</
浏览 14
提问于2019-03-18
得票数 2
1
回答
如何
在
Kafka
主题
中添加
分区
,并将相同密钥
的
消息保留在同一
分区
中
?
events
、
apache-kafka
、
consistent-hashing
在给定
Kafka
主题
的
相同
分区
中进行排序是很常见
的
。也就是说,具有相同key
的
消息应该去往相同
的
分区
。现在,如果我想在一个正在运行
的
主题
中添加
新
的
分区
,
如何
使其保持一致性?据我所知,默认
的
分区
策略是mod on -of-partition。当
分区
数改变时(例如4到5),一些消息可能会落入与之前
浏览 39
提问于2020-04-30
得票数 2
回答已采纳
1
回答
对使用
新
的
Kafka
幂等
生产者
API防止重复感到困惑
apache-kafka
、
kafka-producer-api
、
spring-kafka
我
的
应用程序让5+使用者消耗了
kafka
主题
上
的
五个
分区
。(使用
kafka
版本11)我
的
使用者
的
每个
分区
都产生一条到另一个
主题
的
消息,然后将一些状态保存到数据库
中
,然后进行manual_即时确认并进入下一条消息。我正在尝试解决当它们成功发送到出站
主题
时
的
情况。那么我们就会失败/失去消费者。当另一个使用者接管
分区
时,它将
浏览 7
提问于2018-08-14
得票数 1
回答已采纳
2
回答
具有默认
分区
的
Kafka
生产者
apache-kafka
、
apache-flink
现在,我
的
kafka
生成器正在将所有消息下沉到
kafka
主题
的
单个
分区
中
,该
主题
实际上具有超过1个
分区
。Properties props = new Propertie
浏览 0
提问于2018-08-28
得票数 0
1
回答
在
Kafka
流DSL
中
读取已经
分区
的
主题
apache-kafka
、
apache-kafka-streams
在
Kafka
流
中
重新划分一个大容量
的
主题
可能非常昂贵。一种解决方案是通过
生产者
端
的
一个键对
主题
进行
分区
,并在Streams应用程序
中
摄取一个已经
分区
的
主题
。有没有办法告诉
Kafka
流DSL,我
的
源
主题
已经由给定
的
键进行了
分区
,并且不需要重新
分区
? 让我澄清我
的</e
浏览 2
提问于2020-12-06
得票数 1
回答已采纳
2
回答
消费者之间
的
kafka
消息分发
java
、
apache-kafka
、
kafka-consumer-api
我有一个非常简单
的
kafka
用例,我面临着两个
分区
之间
的
消息分发问题。 我在topic上有2个
分区
,每个
分区
都有2个使用者。我可以看到更多
的
消息进入了特定
的
分区
,并且只有一个使用者正在处理消息,而另一个订阅了较少消息
的
分区
的
使用者则永远处于空闲状态。两个使用者具有相同
的
组id。我不能在这个问题上实现水平扩展。
kafka
.session.timeo
浏览 0
提问于2019-03-02
得票数 2
2
回答
apache
kafka
中
的
负载平衡
load-balancing
、
apache-kafka
我是阿帕奇卡夫卡
的
新手,我一直在玩它。如果我有两个代理和一个有4个
分区
的
主题
,并且假设我
的
一个代理负载很重,
kafka
会负责平衡从
生产者
到另一个免费代理
的
传入流量吗?如果是这样的话,是
如何
做到
的
?
浏览 4
提问于2015-12-10
得票数 4
1
回答
Kafka
分区
分配协议
c#
、
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
我正在编写集成测试,以使用confluent-dotnet (包装
librdkafka
)来验证
kafka
生产者
和消费者配置。在一个测试
中
,我想启动一个消费者,它将从现有
分区
的
末尾启动,然后发布来自
生产者
的
消息,并断言消费者只使用了一条消息。现在消费者
的
启动是异步
的
(即:如果你直接调用订阅然后发布,从最后开始
的
消费者将不会收到它)。在没有竞争条件
的
情况下编写此测试
的
浏览 5
提问于2018-01-12
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
系统解读Kafka的流和表(二):主题、分区和存储
“事件驱动架构”Apache Kafka中的事务
“消息中间件”Apache Kafka中的事务
“Kafka技术”Apache Kafka中的事务
Kafka之安装部署
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券