腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1313)
视频
沙龙
1
回答
Kafka
broker
的
保留
期
可
以为
零
吗
?
apache-kafka
在
kafka
borker中,
保留
期
为
零
是否有意义? 我们希望通过
kafka
broker
将消息从生产者快速转发到消费者。从
broker
机器上
的
buffercache/pagecache,而无需刷新到磁盘。我们不需要复制,并假设我们
的
代理永远不会崩溃。
浏览 17
提问于2019-03-16
得票数 4
回答已采纳
3
回答
Kafka
主题消息数
apache-kafka
我需要在一个卡夫卡主题存储
的
消息数量。这与是否有消费者消费了消息无关。
kafka
-run-class.sh
kafka
.tools.GetOffsetShell --
broker
-list localhost:9092,localhost:9093,localhost:9094--topic test-topic 上面给出了主题
的
偏移量?以上数据是否等于
kafka
topic当前存储
的
消息数?
浏览 0
提问于2018-08-23
得票数 0
2
回答
producer能否找到
Kafka
0.8中brokers
的
添加和删除?
producer-consumer
、
apache-zookeeper
、
messagebroker
、
apache-kafka
我们知道,在
kafka
0.7中,我们可
以为
producer指定zk.connect,这样producer就可以找到
broker
的
添加和删除。但是在
kafka
0.8中,我们不能为生产者指定zk.connect。
kafka
0.8中
的
producer能找到它
吗
?如果没有,系统
的
可
伸缩性不比0.7版本差
吗
?
浏览 2
提问于2013-01-14
得票数 1
1
回答
内部
kafka
流主题
的
保留
期
apache-kafka
、
apache-kafka-streams
我有一个
kafka
streams
的
用例,其中我需要对过去
的
数据执行聚合操作,这些数据甚至可能在几个月前被消耗。我想知道这是否意味着我需要关注内部主题
的
默认
保留
期
,例如XXX-REDUCE-STATE-STORE-changelog、XXX-AGGREGATE-STATE-STORE-repartition和以某种方式显式更改如果我在
broker
级别设置默认
保留
期
,我新创建
的
内部主题是否会永久
保留
?
浏览 21
提问于2021-02-01
得票数 0
2
回答
Kafka
主题中
的
消息计数
apache-kafka
、
kafka-topic
我正在尝试了解如何使用
Kafka
跟踪消息摄取。关于自动获取
Kafka
主题中
的
消息计数,您有什么建议?理想情况下,我想按分钟
的
频率命中该主题,并获得计数,以及时间窗口,如1天等。 *我不能使用KSQL,因为我
浏览 16
提问于2020-04-21
得票数 1
2
回答
理解卡夫卡中
的
分割和经纪人之间
的
关系?
apache-kafka
我对卡夫卡很陌生,只是在我
的
本地机器上做了一些调整,跟随着,T1有2个分区,T2有3个分区,T3有5个分区我有两个经纪人B1和B2。
kafka
会自动为主题/解析指定代理
吗
?如果是,怎么做?
浏览 1
提问于2020-05-07
得票数 0
回答已采纳
3
回答
kafka
的
offset topic
保留
期
问题
apache-kafka
、
kafka-consumer-api
我们正面临着一个卡夫卡
的
问题。我们有一个主题,其中只有一个分区,并且在一个消费者组中只有一个消费者。消费者已被停用了一个月。与此同时,制作人正在向主题发送消息。我假设之前提交
的
偏移量已经丢失,因此消费者不知道在唤醒时如何找到起点。偏移量是否已损坏?
kafka
内部主题偏移量
的
保留
期
,是否意味着上次提交
的
偏移量已被移除?
浏览 3
提问于2017-03-02
得票数 12
1
回答
删除
kafka
主题文件夹
的
安全和最佳方法是什么?
linux
、
hadoop
、
kafka
在我们所有的卡夫卡机器(生产机器)上,我们看到:(没有自由空间)Filesystem Size Used Avail Use% Mounted on和下面的/var/
kafka
/
kafka
-日志117
浏览 0
提问于2017-11-30
得票数 0
回答已采纳
2
回答
Kafka
使用者
的
补偿超出了范围,没有为分区配置重置策略。
java
、
apache-kafka
、
kafka-consumer-api
在启动卡夫卡消费
的
同时,获得低于例外
的
地位。org.apache.
kafka
.clients.consumer.OffsetOutOfRangeException:偏移超出分区{test-0=29898318}
的
范围,没有为分区配置重置策略。
Kafka
版本: 9.0.0 Java 7
浏览 13
提问于2016-05-19
得票数 19
1
回答
关于卡夫卡紧凑主题
的
缺失信息
apache-kafka
号码是对
的
,我原
以为
他们会在那里,但不知什么原因,他们走了。所涉专题是以紧凑
的
方式创建
的
。上所有与
Kafka
相关
的
ZNodes,那么
Kafka
上
的
物理数据会发生什么不好
的
事情
吗
? 另外,以下是
Kafka
初创公司
的
一些日志。.log对应
的
损坏索
浏览 0
提问于2019-05-02
得票数 0
回答已采纳
1
回答
一个
Kafka
代理连接到多个动物园管理员
apache-zookeeper
、
apache-kafka
我对
Kafka
,zookeeper和Storm都不熟悉。在我们
的
环境中,我们有一个
Kafka
代理连接到多个动物园管理员。让生产者将消息发送到特定主题,并将一个代理上
的
分区发送给多个zookeepers,与将多个代理发送给多个zookeepers相比,是否有优势?
浏览 1
提问于2015-09-02
得票数 1
1
回答
使用
Kafka
处理海量数据
apache-kafka
我有三个节点
的
kafka
集群。我向
kafka
主题产生了1个分区和3个复制因子
的
消息。如果我
的
消费者工作得比生产者慢得多,会发生什么?默认情况下,
保留
策略和其他主题属性 例如: 生产者写入10 GB/小时 消费者读取5 GB/小时
保留
期
=5 GB和5小时 可用空间- 30 GB с连续工作一天后会发生什么?我应该检查哪些参数才能保证
零
数据丢失?? 谢谢!
浏览 25
提问于2020-08-22
得票数 0
回答已采纳
2
回答
存储日志
的
策略- Splunk
amazon-web-services
、
amazon-s3
、
splunk
目前,我们正在通过
Kafka
broker
收集并发送应用程序日志到Splunk进行日常监控,它大约在80 is /天左右。我们正在支付大量
的
钱,以保持这些原木进入Splunk (90天
保留
期
)。我们希望减少存储在splunk中
的
日志,这样我们
的
预算在财政上是可行
的
。此外,是否最好在另一个工具(如S3 )中创建一个单独
的
数据库,然后使用splunk查询该数据库以避免将日志直接存储到Splunk?
浏览 11
提问于2022-07-28
得票数 -1
1
回答
将
kafka
日志移动到另一个代理
apache-kafka
、
event-sourcing
是否可以将
kafka
broker
上
的
日志移动到不同
的
broker
?我使用
kafka
作为事件存储(按照他们网站上
的
建议),所以我不会删除日志,我想知道如果我
的
代理填满了(当我扩展集群时)是否可以将日志移动到另一个代理。此外,当添加新
的
代理并为其分配分区时,如果我正确理解了来自已移动分区
的
旧数据将
保留
在它
的
原始代理上-这意味着如果添加了一个想要从一开始消费
的
新消费者
浏览 0
提问于2016-05-31
得票数 0
2
回答
卡夫卡事件结束后,相关消费者
的
滞后性会不会停滞不前?
apache-kafka
假设没有发布更多
的
Kafka
事件,当
kafka
broker
中
的
所有以前
的
Kafka
事件由于
保留
而过期,而相关
的
消费者还没有完成所有事件时,相关
的
Kafka
消费者滞后会被给定
的
分区所困
吗
?
浏览 4
提问于2016-04-07
得票数 0
回答已采纳
2
回答
如何恢复卡夫卡
的
信息?
apache-kafka
、
recovery
我们正在考虑使用
kafka
进行分布式开发,但也希望将其用作数据库。具体情况:我们用
kafka
写“交易”主题,并希望依赖它来存储所有的交易。或者卡夫卡有自己
的
恢复机制,所以用户不需要自己
的
恢复计划?
浏览 0
提问于2018-04-06
得票数 3
回答已采纳
1
回答
Kafka
-streams: windows保持期内存/性能影响
apache-kafka-streams
我们在
kafka
流中有一个发展,它产生了一个时间窗口聚合,类似于:然后使用 TimeWindows.of().until()我
的
主要问题是,如果不使用until,那么假设我们有1分钟
的
窗口,并且由于某种不可预见
的
原因,一个新
的
事件从1周前就出现了,应用程序从一开始就保存了所有的windows状态
吗
?它不是会产生过多
的
内存消耗
吗
?或者,如果保持所有窗口
的
状态,它
浏览 1
提问于2018-06-29
得票数 3
回答已采纳
1
回答
Kafka
-保持
期
参数
apache-kafka
试图理解阿帕奇卡夫卡
的
保留
期
背后
的
逻辑。请帮助我了解以下情况。 如果删除
保留
参数本身,它会接受默认值
吗
?
浏览 1
提问于2019-01-04
得票数 2
1
回答
如何指定“联接”窗口
的
保留
时间?
apache-kafka
、
apache-kafka-streams
我想加入两个流,我已将连接窗口设置为25小时,因为要加入
的
记录最多
可
相隔24小时。JOIN_WINDOW),这将引发以下异常: org.apache.
kafka
.streams.errors.TopologyException:无效拓扑:连接窗口KSTREAM-JOINTHIS-0000000016-存储
的
保留
期
不能小于其窗口大小。如何延长留用
期</
浏览 0
提问于2018-12-31
得票数 3
回答已采纳
4
回答
如何在
kafka
中查看特定主题
的
保留
apache-kafka
、
retention
我想要查看为特定主题设置
的
保留
期
。有什么命令
吗
?我试着用用于删除2天前
的
数据。但我想看看所有主题
的
保留
期
设置了多少天。
浏览 0
提问于2016-12-14
得票数 44
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka 提供哪些日志清理策略?
Hadoop进级教程之-Kafka架构原理
kafka集群是如何选择leader,你知道吗?
学习Kafka,先从这四个基础概念入手
kafka 简介、架构、安装
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券