腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
中
的
retention.bytes
是
限制
每个
副本
的
分区
大小
,
还是
限制
分区
的
所有
副本
的
大小
?
apache-kafka
我有一个卡夫卡主题需要
限制
的
大小
配置:
retention.bytes
。本主题有4个
分区
。
每个
分区
在3个不同
的
代理上有一个领导者和2个
副本
。说
retention.bytes
=1,073,741,824 是否
每个
副本
将被
限制
为1 3GB,这意味着
每个
分区
的
日志
限制
为3 3GB。或者
每个
浏览 247
提问于2020-07-22
得票数 0
2
回答
不使用
kafka
的
每个
主题
的
日志保留字节数
apache-kafka
我尝试使用以下命令设置
每个
主题
的
log.retention.bytes已通过执行以下操作验证配置设置app.test.client
浏览 4
提问于2016-08-23
得票数 3
1
回答
卡夫卡配置"
retention.bytes
“适用于紧凑
的
主题吗?
apache-kafka
"
retention.bytes
“适用于”紧凑“主题吗?我来到这里
的
原因
是
,在我当前项目的镜头中,我看到
分区
字节
是
2GB,比配置
的
"rention.bytes“43 my要大得多。当达到保留时间或
大小
限制
时,默认策略("delete")将丢弃旧段。“紧凑”设置将启用主题上
的
重新压缩日志。
retention.bytes
此配置控制
分区
(由日志段组成)在使用“删除”
浏览 15
提问于2022-05-06
得票数 1
回答已采纳
1
回答
卡夫卡磁盘空间已满
apache-kafka
我有一个具有1000 and磁盘
的
Kafka
服务和这个运行参数:然而,磁盘空间
的
使用率达到90% (900 90)。由于该参数正在运行,磁盘
大小
不应超过326 is。为什么会发生这种事?
浏览 6
提问于2019-10-11
得票数 0
回答已采纳
2
回答
我怎么知道卡夫卡的话题已经满了?
apache-kafka
、
kafka-producer-api
假设我有一个
kafka
代理配置了一个
分区
log.retention.hours=6我如何知道一个主题是否已经满了,并且日志在被消耗之前被删除了呢? 是否有一种方法来监视或公开一个度量,当一个主题变得满了?
浏览 1
提问于2018-12-12
得票数 3
回答已采纳
1
回答
如果我要发送消息
的
分区
已满,
Kafka
会在同一主题中选择另一个
分区
吗?
apache-kafka
、
kafka-topic
、
kafka-partition
我
的
主题有3个
分区
(在3个不同
的
代理
中
)。我想将消息发送到特定
的
分区
1(添加
分区
id或在我
的
消息中指定一个键)。假设
分区
1充满了磁盘,是否为该消息选择了替代
分区
(在本例
中
为
分区
2或
分区
3)?
浏览 31
提问于2020-10-07
得票数 1
回答已采纳
1
回答
Apache :减少
kafka
磁盘
的
使用
apache-kafka
、
disk
、
disk-access
关于卡夫卡
的
磁盘我有个问题。卡夫卡将失败时,它
的
磁盘变得满。因此,我希望在
Kafka
磁盘使用率达到x%时丢弃存储在
Kafka
磁盘上
的
旧数据(或丢弃数据
的
副本
),从而将磁盘使用率降低到小于x%。我需要修改
Kafka
源代码才能做到这一点吗?
浏览 4
提问于2018-06-22
得票数 2
1
回答
卡夫卡+如何计算log.retention.byte值
apache-kafka
根据以下链接:在/var/
kafka
浏览 1
提问于2018-10-29
得票数 12
回答已采纳
1
回答
Kafka
分区
的
大小
和写入没有空闲磁盘空间
的
主题
apache-kafka
、
kafka-topic
、
kafka-partition
为了企业解决方案
的
目的,我开始学习
Kafka
。
是
相同
大小
的
主题上
的
所有
分区
? ,,如果在一个主题上发送了一条卡夫卡消息,并且该主题被重载,将会发生什么。没有任何关于该主题
的
新消息
的
内存??
浏览 3
提问于2020-09-20
得票数 2
1
回答
Kafka
:
分区
配置
还是
主题配置?
apache-kafka
我使用以下命令在我
的
kafka
集群
中
创建了一个主题。10 --replication-factor 2 --config
retention.bytes
=1074000000 --config delete.retention.ms=6000 --configsegment.bytes=105000000 所以,如果我正确理解了文档,我有一个主题,10个
分区
在我
的
3台
kafka
主机之间复制了2次。接下来,
每个
kafka
主机必须保留1G
浏览 8
提问于2016-09-07
得票数 1
回答已采纳
1
回答
建议
的
分区
键单元格占用空间
的
最大值是多少?
cassandra
我看到了以下
的
限制
100MB
分区
大小
max-这是具有相同
分区
键
的
所有
行占用
的
总空间吗?
分区
键
中
是否有建议
的
最大单元格数量以及一个
分区
键占用<em
浏览 2
提问于2017-08-19
得票数 2
1
回答
只在一个集群
中
在
Kafka
中
创建一个主题
apache-kafka
我在
中
运行Docker文件,它用3个代理创建了3个集群。当我运行码头ps,我可以看到3个动物园管理员和3个卡夫卡实例。当我在(0.0.0.0:9092),和list broker主题中创建一个主题时,我会在
所有
经纪人中看到这个主题。我遗漏了什么?
浏览 1
提问于2022-12-04
得票数 1
回答已采纳
6
回答
kafka
集群
中
主题
的
分区
和
副本
有什么区别
hadoop
、
apache-kafka
kafka
集群
中
topic
的
分区
和
副本
有什么区别。我
的
意思
是
两者都将消息
的
副本
存储在一个主题中。那么真正
的
区别是什么呢?
浏览 0
提问于2014-11-26
得票数 34
1
回答
Kafka
:消费者组
中
的
最大
分区
数
apache-kafka
我想了解卡夫卡
中
每个
消费群体
分区
的
技术
限制
,特别是如果订阅通配符模式的话。我在很多地方都读过没有
限制
的
书,但我注意到现实世界
中
的
许多
限制
: 在具有1000+
分区
的
消费者组上,SYNCGROUP消息很容易超过1MB(默认
的
最大消息
大小
),因此您需要不断增加__consumer_offsets主题
的
max.message.byt
浏览 5
提问于2022-02-04
得票数 1
1
回答
使用
Kafka
消费者
的
分区
获取最大字节数
的
奇怪行为
apache-kafka
、
kafka-consumer-api
我有一个主题,A,有12个
分区
。我在一个集群中有3个
Kafka
经纪人。对于主题A,
每个
代理有4个
分区
。我没有创建任何
副本
,因为我不关心弹性。我在主题中有12条消息,我已经通过
kafka
-run-class.sh
kafka
.admin.ConsumerGroupCommand验证了
每个
分区
中都有一条消息。消息
大小
为100000字节,恰好等于max.partition.fetch.bytes
限制
。 当
浏览 0
提问于2020-06-10
得票数 1
2
回答
卡夫卡留用政策
apache-kafka
假设我有一个多代理(运行在同一主机上)
Kafka
设置,包含3个代理和50个主题,
每个
主题被配置为有7个
分区
和3个复制因子。我有50 to
的
内存用于
kafka
,并确保
Kafka
日志永远不会超过这个内存量,所以我想配置我
的
保留策略,以防止这种情况发生。log.retention.hourslog.segment.byteslog.roll.hours 这些主题包含数
浏览 1
提问于2018-08-13
得票数 4
回答已采纳
3
回答
如何确定
Kafka
集群规模
distributed
、
apache-kafka
我计划决定
Kafka
集群上应该有多少个节点。我不确定要考虑
的
参数。我确信它必须
是
>=3 (复制因子为2,容错性为1个节点)。在考虑
浏览 0
提问于2015-01-13
得票数 22
回答已采纳
1
回答
如何检查
kafka
主题
的
分区
内存使用情况?
apache-kafka
、
kafka-topic
如何在
kafka
中
检查特定主题
的
分区
上
的
内存使用情况?我试过这个"
kafka
-log-dirs.sh -describe.
是
在特定
分区
或内存使用上使用总内存吗?我
是
在问,因为我将配置"
retention.bytes
=2147483648“设置为这个主题,所以如果”
大小
“只是内存使用,我
的
保留就不起作用了。
浏览 3
提问于2020-11-10
得票数 1
回答已采纳
1
回答
对于随机
分区
,
Kafka
broker不同步。
apache-kafka
在我
的
设置
中
,
每个
主题中
的
每个
分区
都有一个2
的
复制因子。
所有
的
分区
都是均衡
的
,领导者和追随者都是均匀分布
的
。
所有
这些
分区
都分配给同一组
副本
。而分配给这组
浏览 1
提问于2018-08-08
得票数 1
1
回答
当每条消息
的
处理需要很长时间时,具有6个
Kafka
消费者
的
最大吞吐量策略
apache-kafka
、
spring-kafka
、
spring-cloud-stream
、
spring-cloud-stream-binder-kafka
考虑这样
的
场景:6个
分区
的
Kafka
主题。Spring Java
Kafka
消费者应用程序具有6个
副本
,以便
每个
副本
都处理一个
分区
。我面临
的
问题
是
,处理消费者
中
的
每条消息需要很长时间(~20秒),因为它需要调用非常慢
的
外部系统。因此,即使我已经配置了6个
分区
/
副本
,我最终
还是
遇到了一
浏览 11
提问于2020-05-29
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何为Kafka集群选择合适的Topics/Partitions数量
Kafka怎么不丢数据?
360度测试:KAFKA会丢数据么?其高可用是否满足需求?
好程序员大数据分享关于kafka的几个重要问题
消息中间件—Kafka数据存储(一)
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券