腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(79)
视频
沙龙
1
回答
kafka
broker
是否
需
要在
消费者
可以
读取
之前
提
交到
磁盘
生产者向
broker
发送消息后,
broker
是否
需要刷新到
磁盘
才能供
消费者
使用?或者它
可以
在提
交到
磁盘
之前
直接从页面缓存中发送。我们正在尝试将
kafka
用于股票市场数据,其中小时间段的消息率可能非常高,因此在向
消费者
公开
之前
写入/刷新
磁盘
将增加严重的延迟。
浏览 10
提问于2019-03-16
得票数 1
回答已采纳
5
回答
Json文件数据到
kafka
主题
如何使用
kafka
-console-producer在
kafka
topic中插入json文件数据?每个json数据集
可以
存储为一条消息吗?: "jlindt@gmail.com", "ip_address": "1.2.3.4"如果您使用此命令- cat sampledata.json|
kafka
-console-producer--
broker
-list
浏览 2
提问于2019-02-13
得票数 11
3
回答
这是正确的
Kafka
消费者
配置吗-在这个
Kafka
设置下?
、
Topic and
broker
partitions的方式metadata.
broker
.list = 10.10.1.5:9092,10.10.1.6:9092,10.10.1.7:9092 我
可以
想象我的制片人工作得很好..问题在于
浏览 1
提问于2014-04-19
得票数 1
1
回答
为什么Kakfa被称为pub-sub,我们能从卡夫卡的偏移量中随机阅读吗?
、
卡夫卡是一个公共子系统,但
消费者
从卡夫卡经纪人那里提取数据--我已经读过,拉比推(有一些缺点)更好,但是如果我们要提取数据,为什么我们称它为酒吧子系统呢?在这里,
Kafka
并不是在通知已经订阅的用户,而是
消费者
正在显式地提取数据。(有一些资源称其为pub-sub,因为在使用者
读取
数据(发生在队列中)之后,数据不会被删除。如果
消费者
正在从代理中提取数据,那么我理解
消费者
需要将其提交给代理(传递语义),但是为什么我们在
Kafka
中说,我们
可以
从我们想要的任
浏览 2
提问于2022-08-09
得票数 0
2
回答
重新启动
kafka
服务器后重读偏移量
设置卡夫卡使用者的autocommit.enable选项将导致被消耗的消息被提交,这意味着如果使用者崩溃,它将开始从最后一个提交位置
读取
偏移量。但是,如果我们重新启动
kafka
服务器,
消费者
是否
会重新
读取
已经提交的偏移量,或者在这种情况下,此选项也能工作--在服务器重新启动后,只会消耗未读消息?
浏览 2
提问于2016-09-22
得票数 0
回答已采纳
3
回答
如何确定
Kafka
集群规模
、
我计划决定
Kafka
集群上应该有多少个节点。我不确定要考虑的参数。我确信它必须是>=3 (复制因子为2,容错性为1个节点)。 谁能告诉我在决定集群大小时应该牢记哪些参数,以及它们是如何影响大小的。
是否
还有其他影响集群大小的参数?1. Replication factor (cluster size >= replication factor) 2.
浏览 0
提问于2015-01-13
得票数 22
回答已采纳
5
回答
卡夫卡
消费者
0.9向后兼容吗?
、
即将到来的
kafka
消费者
0.9.x将与0.8
broker
兼容吗? 换句话说--只可能切换到新的
消费者
实现,而不触及其他任何东西?
浏览 4
提问于2015-11-19
得票数 8
回答已采纳
5
回答
Kafka
Consumer:如何在Python中从最后一条消息开始消费
、
、
、
我使用的是
Kafka
0.8.1和
Kafka
python-0.9.0。在我的设置中,我有2个
kafka
代理设置。当我运行我的
kafka
消费者
时,我
可以
看到它从队列中检索消息,并跟踪两个代理的偏移量。我的问题是,当我重新启动
消费者
时,它会从头开始使用消息。我所期望的是,在重启时,
消费者
将从它死
之前
停止的地方开始消费消息。我确实试着跟踪Redis中的消息偏移量,然后在从队列中
读取
消息
之前
调用consu
浏览 3
提问于2014-07-10
得票数 8
4
回答
Apache
Kafka
交付订单
、
假设我有一个
Kafka
制作人。此时,
消费者
正在收听主题T1和T2。
是否
可以
保证每当
消费者
看到主题M2上的消息T2时,都会看到主题T1上的消息M1?(因为在M2
之前
编写了M1 )
浏览 2
提问于2017-01-16
得票数 1
1
回答
卡夫卡高层与低层次
消费者
在使用n*m不同进程通过m线程和n_m主题访问m分区时,
是否
存在差异?(3)在失败(即)信息未传递的情况下,我
可以
在哪里找到
Kafka
中的错误日志。
浏览 1
提问于2014-10-21
得票数 5
3
回答
不清楚卡夫卡中auto.offset.reset和enable.auto.commit的含义
、
我刚接触
Kafka
,我并不真正理解
Kafka
配置的含义,有没有人能给我解释一下更容易理解!
浏览 0
提问于2017-07-05
得票数 21
4
回答
Kafka
消费者
,非常长的再平衡
我们正在运行一个3代理
Kafka
0.10.0.1集群。我们有一个java应用程序,它
可以
从不同的主题中产生许多
消费者
线程。对于每个主题,我们指定了不同的消费群体。在此
之前
,该主题的
消费者
不会消费任何东西。如果我转到
Kafka
broker
并运行consumer-groups.sh并描述那个特定的CG,我会看到它正在重新平衡。在
消费者
端,当我打开跟踪级别日志时,在此暂停时间内实际上没有任何活动。几分钟后,很多活动就开始了。有时间关键的数据存储在该主题中
浏览 2
提问于2018-07-13
得票数 10
1
回答
卡夫卡+消费集团的根本原因是再平衡
、
在
kafka
集群中,我们看到以下行为/usr/hdp/current/
kafka
-
broker
/bin/
kafka
-consumer-groups.sh
浏览 2
提问于2021-12-23
得票数 2
回答已采纳
6
回答
具有多个分区的Apache
Kafka
消息顺序
根据Apache
Kafka
文档,消息的顺序
可以
在分区内实现,也
可以
在主题中的一个分区内实现。在这种情况下,我们得到的并行性好处是什么,它等同于传统的MQs,不是吗?
浏览 11
提问于2015-04-23
得票数 62
3
回答
处理大型
Kafka
主题
、
我有一个非常非常大(消息计数)的
Kafka
主题,它可能每秒有超过20M条消息,但是,消息大小很小,它只是一些纯文本,每个不到1KB,我
可以
使用几个分区每个主题,也
可以
使用几个服务器在一个主题上工作,他们将消耗主题中的一个分区在单个主题上创建+100个或更多分区
是否
合乎逻辑?
浏览 2
提问于2019-06-11
得票数 0
9
回答
如何快速入门
Kafka
消息队列?
、
最近经常听到这个名词,但是不知道如何入门,我看到腾讯云也有相关的产品Ckafka产品,所以来问问~
浏览 4998
提问于2018-09-14
4
回答
为什么
kafka
生产者在初始化时使用代理端点而不是zk?
是否
需要手动切换代理以平衡负载?此外,为什么使用者只需要一个动物园管理员端点而不是代理端点?教程中的快速示例:> bin/
kafka
-console-consumer.sh
浏览 4
提问于2014-03-16
得票数 36
回答已采纳
3
回答
卡夫卡设计问题-卡夫卡连接相对于自己的
消费者
/生产者
、
、
、
我需要了解何时使用卡夫卡连接与自己的
消费者
/生产者由开发人员编写。我们正在获得合流平台。此外,为了实现容错设计,我们
是否
必须从所有代理运行使用者/生产者代码( jar文件)?
浏览 6
提问于2019-12-27
得票数 7
1
回答
卡夫卡拓扑最佳实践
复制因子3:使用
kafka
0.10.XX 谢谢?
浏览 2
提问于2017-08-10
得票数 2
回答已采纳
1
回答
卡夫卡__consumer_offsets和不干净的关闭?
出于测试目的,我有一个
kafka
0.11.0.0的实例,其中包含以下覆盖设置:
broker
.id=0log.retention.check.interval.ms=300000我有一个叫pigeon的
消费者
在kill -9
之前
从客户端登录(使用
kafka
-react
浏览 1
提问于2017-10-12
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
关于Kafka broker IO的讨论
Kafka学习笔记
Kafka权威指南(一):初识Kafka
Kafka权威指南(二):为什么选择Kafka
LinkedIn定制Kafka,每天处理7万亿条消息
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券