腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
主
题下
的
消息
也
被称为
日志
?
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
、
spring-kafka
Kafka
主
题下
的
消息
也
被称为
日志
?
日志
分区=主题
消息
分区? # The default number of log partitions per topic.
浏览 15
提问于2019-02-27
得票数 0
回答已采纳
1
回答
卡夫卡内部存储器
apache-kafka
卡夫卡
的
书 使用者订阅一个主题并从段中读取
消息
。 有人能解释一下片段和磁盘之间
的
关系吗?
浏览 0
提问于2019-04-24
得票数 0
1
回答
微服务中
Kafka
生产者造成
的
GC大暂停
java
、
performance
、
apache-kafka
、
garbage-collection
、
kafka-producer-api
我
的
一个web服务为每个在线请求发送
日志
消息
(大小: 10K)到
kafka
(版本: 0.10.2.1),我发现KafkaProducer消耗了大量内存,这导致了很长
的
gc暂停时间。我
的
服务中只有一个
Kafka
生产者,是官方推荐
的
。 我想知道谁有什么建议,如何在不影响在线服务
的
情况下向
kafka
发送
消息
?
浏览 0
提问于2019-11-14
得票数 0
1
回答
当我从
kafka
的
多个分区轮询记录并在一个分区上提交一条记录时,其余
的
记录都会丢失
apache-kafka
、
kafka-consumer-api
我轮询来自多个分区
的
记录,并且只提交一个记录,然后其余
的
记录似乎
也
被提交了,因为我不能再次轮询它们。并且我已经将auto.commit设置为false,但找不到原因。,我重新运行了程序,结果似乎我已经提交了所有记录,因为我没有跳出outter循环,但我
的
日志
显示(我已经用代码打印出了记录信息)奇怪
的
事情,比如: 09:37:38.786
主
信息org.test.
kafka
.Consumer- partition = 2,偏移量= 0,值=此
消息<
浏览 15
提问于2019-08-08
得票数 1
2
回答
如何配置
Kafka
主题作为快照存储
scala
、
apache-kafka
这个主题应该只包含每个X
的
最新“文档X更新”事件。但我无法正确配置主题,它保留了多个副本。"cleanup.policy" -> "compact,但它总是在第一次运行时接收所有生成
的
消息
,并在随后
的</
浏览 2
提问于2017-06-22
得票数 1
1
回答
关联
消息
的
Kafka
流
java
、
apache-kafka
、
apache-kafka-streams
是否可以根据在一段时间内以随机顺序出现
的
标准对
消息
进行分组?
消息
具有不同
的
标识符,并且这些标识符可能需要存储在存储器中以进行关联。
浏览 0
提问于2018-04-09
得票数 1
1
回答
如何生成Apache偏移量?
apache-kafka
通过了 代理维护
的
消息
日志
本身只是一个文件目录,每个文件由已以生产者和使用者使用
的
浏览 1
提问于2017-03-12
得票数 2
回答已采纳
2
回答
Kafka
主题中
的
消息
计数
apache-kafka
、
kafka-topic
我正在尝试了解如何使用
Kafka
跟踪
消息
摄取。关于自动获取
Kafka
主题中
的
消息
计数,您有什么建议?理想情况下,我想按分钟
的
频率命中该主题,并获得计数,
浏览 16
提问于2020-04-21
得票数 1
2
回答
kafka
消息
过期事件-如何捕获
apache-kafka
我是
Kafka
的
初学者,最近开始在我
的
工作项目中使用。我想知道
的
一件重要
的
事情是,当
消息
在
kafka
中过期时,是否有可能捕获事件。这样做
的
目的是捕获这些过期邮件,并将它们备份到备份存储中。
浏览 1
提问于2021-03-17
得票数 0
2
回答
如何基于message属性下
的
主机名过滤关于
kafka
主题
的
消息
,因为消费者在两个不同
的
服务器上?
apache-kafka
我需要基于message属性下
的
主机名来使用
kafka
的
消息
。
消息
在
Kafka
主
题下
从下游被丢弃,在侦听器端,2进程被配置为相同
的
kafka
队列,但运行在两个不同
的
服务器/主机名上。根据属性下
的
主机名过滤
消息
以将
消息
路由到正确
的
服务器
的
过程是什么。例如,message 1获得了具有主机名为serverA
的</e
浏览 8
提问于2022-03-19
得票数 0
1
回答
Jmeter JSR223预处理器和采样器
apache-kafka
、
jmeter
我在并发线程组中有一个jsr223预处理器,它创建数据并将其发送给
Kafka
生产者。我有一个JSR采样器,它使用
Kafka
client 2.7.0向
Kafka
过程发送
消息
。发送给
Kafka
的
消息
每次都应该不同,例如,它
的
设备信息应该是不同
的
,事件与时间(这是当前时间)。这些都是生成
的
,没有任何问题,因为我用很少
的
(50)个线程测试了它。我遇到
的
问题是当我想要发送更多
的</
浏览 0
提问于2021-04-16
得票数 0
1
回答
在GKE升级期间,Strimzi“没有匹配侦听器
的
代理”
apache-kafka
、
google-kubernetes-engine
、
broker
、
strimzi
我在GKE上使用strimzi操作符0.15版部署了
Kafka
,并且运行良好。Pod都已重新启动,在升级过程中,我在
日志
中看到了许多来自试图与
Kafka
通信
的
客户端
的
消息
:无法建立到节点1 (
kafka
-1.redacted.svc.cluster.local/redacted:9092)
的
连接。可能找不到经纪人。所以,我想知道这是一种正常
的</
浏览 2
提问于2021-10-13
得票数 0
1
回答
Cloudera
Kafka
不能跑
apache-kafka
、
cloudera
、
cloudera-cdh
我在Cloudera5.4.4上安装了Zookeeper并尝试安装
Kafka
0.8.0。它成功地部署了,但是当我运行它时,它失败了。错误
日志
如下:我真的一点
也
不知道。提前感谢!
浏览 2
提问于2015-09-29
得票数 2
回答已采纳
1
回答
当
Kafka
代理在配置
的
保留时间/字节之前耗尽空间时会发生什么?
apache-kafka
我知道大多数系统都应该进行监视,以确保这种情况不会发生(并且我们应该正确地设置保留策略),但我只是好奇,如果
Kafka
Broker确实耗尽了磁盘空间(例如,如果我们将保留时间设置为30天,但是代理在第一天就耗尽了磁盘空间在单个代理场景中,代理是否停止接收任何新
消息
并将异常返回给生产者?还是删除旧
消息
为新
消息
腾出空间?在多代理场景中,假设我们有Broker A(分区
的
领导者,但没有更多
的
磁盘空间)和Broker B (分区
的
追随者,仍然有磁盘空间),那么领导能力会转移到
浏览 2
提问于2022-02-06
得票数 3
回答已采纳
1
回答
识别并查找
Kafka
主题中
的
特定
消息
apache-kafka
我正在尝试理解在卡夫卡主题中是否有可能找到具体
的
信息。
Kafka
消息
密钥被认为是解决这个问题
的
手段。 但我怀疑,该键只允许标识主题中
的
分区,而不是分区中
的
特定
消息
。有没有办法识别
Kafka
分区中
的
特定
消息
,并找到此
消息
以供进一步使用(例如,读取此特定
消息
)? 它是关于流处理
的
。 例如: 分区包括4条
消息
:
消息
1、
消息</
浏览 26
提问于2021-01-28
得票数 2
2
回答
如何将文件系统中存储
的
kafka
日志
转换为csv
apache-kafka
我有一些用
kafka
生成
的
日志
,它们目前存储在我
的
计算机上
的
.log格式中,如下所示:我想把这些文件转换成csv记录,带有
消息
和时间。
浏览 7
提问于2020-02-11
得票数 0
1
回答
重构卡夫卡信息
的
可能原因
go
、
apache-kafka
、
kafka-consumer-api
、
sarama
昨天,我从
日志
中发现,卡夫卡在卡夫卡小组协调员发起了一次小组再平衡之后,正在重新消费一些信息。这些
消息
是两天前使用
的
(从
日志
中确认)。config.Version = version在声明
消息
之前,我们正在处
浏览 0
提问于2019-07-02
得票数 0
回答已采纳
1
回答
kafka
日志
清洁器是否在AWS MSK上进行任何记录?
amazon-web-services
、
apache-kafka
、
aws-msk
我使用AWS集群,将代理
日志
打开到CloudWatch。
日志
记录工作,我可以看到代理
日志
。我们有一些关于cleanup.policy=compact
的
主题和一些关于cleanup.policy=delete
的
主题。该系统在新
的
集群上运行了大约2周。从我
的
研究(例如)中,我发现
kafka
应该运行
日志
清理器(显然),并且在
日志
中应该有这种活动
的
一些跟踪。但是,在我
的
CloudWatch
浏览 15
提问于2022-05-09
得票数 1
1
回答
如何在
Kafka
中将确认设置为false
java
、
apache-kafka
我希望
消息
在
Kafka
中通过将确认设置为false来消费时,不要从topic中删除。我该怎么做呢?
浏览 0
提问于2018-05-07
得票数 1
2
回答
Python如何删除
Kafka
主
题下
的
所有
消息
python
、
python-2.7
、
apache-kafka
、
kafka-python
我是卡夫卡
的
新手。我们正在尝试将数据从csv文件导入到
Kafka
。我们每天都需要导入数据,平均来说,前一天
的
数据是被降级
的
。在python中,如何删除
Kafka
主
题下
的
所有
消息
?或者我如何删除python中
的
Kafka
主题?或者我看到有人建议等待数据过期,如果有可能,我如何设置数据过期时间?如有任何建议,将不胜感激! 谢谢
浏览 5
提问于2015-09-21
得票数 4
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
JavaWeb项目架构之Kafka分布式日志队列
kafka日志存储以及清理机制
SpringBoot开发案例之整合Kafka实现消息队列
带你了解大数据消息流系统Kafka
玩了分布式这么久,你不会连Kafka都不清楚吧
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券