腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9378)
视频
沙龙
1
回答
如何监控交易型
消费者
的卡夫卡消费滞后
apache-kafka
、
spring-kafka
、
spring-micrometer
在spring-
kafka
中
,有一个监测卡夫卡
消费者
滞后
的
有用
指标
,叫做
kafka
_consumer_records_lag_max_records。但是这个
指标
并不适用于事务性
消费者
。是否有为事务性使用者启用滞后度量
的
特定
配置?我已经将我
的
使用者组配置为使用隔离级别read_committed,并且度量包含
kafka
_consumer_records_lag_max_record
浏览 1
提问于2019-06-11
得票数 1
1
回答
如
何在
Kafka
中
访问
来自
消费者
的
特定
指标
java
、
apache-kafka
、
kafka-consumer-api
、
jmx
我正在与一个java生产者和
消费者
合作,我试图从我
的
java应用程序
中
可视化我
的
消费者
滞后(我故意让它滞后)。我想将该延迟记录为stdout。我已经使用了这个(只是一个片段,使用者
的
设置在应用程序
中
完成) private KafkaConsumer<String, String> consumer System.out.
浏览 19
提问于2019-10-08
得票数 1
回答已采纳
1
回答
NATS Jetstream是否提供消息按键排序?
go
、
apache-kafka
、
jetstream
、
nats.io
、
nats-streaming-server
我
的
一个主要用例是解决基于
特定
id
的
消息/事件排序(就像
Kafka
世界
中
的
partition key )。如
何在
Jetstream
中
完成此操作? 我在Jetstream
中
遇到了去重键(Nats-Msg-Id),但我认为这个功能与
Kafka
中
的
主题压缩更有同义词。我说
的
对吗?在Jetstream世界
中
,
特定
orderId
浏览 216
提问于2021-08-30
得票数 5
1
回答
使用多个
消费者
组消费对
Kafka
主题分区日志有什么影响?
apache-kafka
我
的
问题更多地与性能有关,而不是它们如
何在
使用者组中使用数据。我们知道
kafka
在文件系统上创建单个分区日志,该文件系统由该分区上所有使用者组
的
使用者
访问
。将对
来自
不同
消费者
组
的
多个
消费者
访问
分区日志文件产生什么影响? 增加
特定
分区日志
的
使用者组将减慢
访问
该分区
的
速度?如何处理这样
的
并发文件--从多个用户组到同一个分区日志<em
浏览 2
提问于2022-02-07
得票数 -1
1
回答
Spring Cloud
Kafka
Streams绑定器偏移
指标
apache-kafka
、
apache-kafka-streams
、
spring-cloud-stream
谁能举个例子,说明如
何在
消费者
应用程序中使用Spring Cloud
Kafka
Streams
指标
spring.cloud.stream.binder.
kafka
.offset?编辑:@Input(INCOMING_STREAM) KStream<String, Update> incomin
浏览 0
提问于2018-10-11
得票数 0
1
回答
在
Kafka
中
通过HTTP轮询
消费者
组滞后
apache-kafka
、
kafka-consumer-api
我想从
Kafka
看到针对
特定
消费者
群体
的
接近实时
的
剩余延迟。我做过
的
最接近
的
事情就是从
Kafka
二进制文件
中
运行describe脚本,但是它很慢而且不可靠。我们试图通过编程
的
方式在我们
的
ETL管道
中
执行一些条件逻辑。 我
的
第一个想法是在
消费者
中
获取
指标
,并通过statsD发布到新
的
relic或
浏览 14
提问于2020-06-04
得票数 1
1
回答
基于WAL接收机
的
电火花卡夫卡集成
hadoop
、
apache-spark
、
apache-kafka
、
spark-streaming
我在Databricks读了下面的博客 1.卡夫卡数据不断被火花工人/执行者
中
的卡夫卡接收者接收。使用了卡夫卡
的
高级
消费者
API。2.接收到
的
数据存储在Spark
的
worker/executor内存以及WAL
中
(在HDFS上复制)。卡夫卡接收机只在数据被保存到日志后才将卡夫卡
的
偏移信息更新给动物园管理员。现在我怀疑高级用户如何更新动物园管理员
中
<e
浏览 1
提问于2017-06-30
得票数 1
1
回答
如何将某个主题列入黑名单,将其排除在
Kafka
的
特定
消费群体之外?
apache-kafka
我们有不同
的
消费者
组,他们使用
来自
不同topics.We
的
数据,topic.We
的
不同分区需要允许一些
消费者
组
访问
特定
的
主题,以便只有这些组可以从主题中读取。我尝试了像这样
的
融合
Kafka
访问
控制列表: bin/
kafka
-acls.sh --authorizer
kafka
.security.auth.SimpleAclAuthori
浏览 9
提问于2017-07-12
得票数 1
1
回答
metrics.num.samples
kafka
设置如何影响记录-滞后-最大值
的
计算方式?
java
、
apache-kafka
、
kafka-consumer-api
当通过
kafka
consumer API检索
消费者
指标
时,即使使用
kafka
- consumer -groups.sh工具描述
消费者
组,记录-滞后-最大值偶尔也会返回0。metrics.num.samples如何影响记录-滞后-最大值
的
计算?
浏览 29
提问于2019-10-25
得票数 0
回答已采纳
1
回答
如何测试(集成测试) springboot-
kafka
微服务
apache-kafka
、
spring-kafka
我有Spring-boot
Kafka
pub sub microserivces,如图所示。我想为我
的
每个应用程序做集成测试。在我
的
测试
中
,我想要发布一条消息到Topic X(用于Springboot--c),该消息应该由处理并生成到Topic Y,我想确认该
特定
消息是否生成到主题当我尝试测试一个应用程序时,它在不知不觉
中
测试了三个应用程序,我想要对它进行更多
的
控制。我希望测试消息仅由
浏览 73
提问于2019-06-20
得票数 1
1
回答
在prem上
的
代理后面的
KAFKA
消费者
设置。生产者在AWS
中
amazon-web-services
、
proxy
、
apache-kafka
、
consumer
我们在AWS中有一个
KAFKA
设置,我们在那里发布
来自
发布者
的
消息,我们希望通过
Kafka
消费者
从可以通过代理
访问
互联网
的
本地盒子
中
消费这些消息。在
KAFKA
消费者
中
是否有任何设置,以便我们可以更新代理详细信息。 注意:我们能够连接并从本地机器(
Kafka
消费者
)获取消息,该机器可以直接
访问
互联网(无需代理)。
浏览 3
提问于2018-05-09
得票数 3
1
回答
从一个话题中获取两个日期之间
的
Kafka
消息?
apache-kafka
、
confluent-platform
如果我想在两个
特定
日期(
如
2月20日:00:00和2月22日- 00:00:00 :00:00)之间使用
来自
Kafka
主题
的
消息,应该使用什么命令?我只知道有
消费者
组命令,我们可以在其中给出"--to-datetime“、"--by-duration”等。bin/
kafka
-consumer-groups.sh --bootstrap-server localhost:9092 --group test-group --reset-offs
浏览 3
提问于2021-02-22
得票数 2
2
回答
Kafka
stream vs
kafka
消费者
如何决定使用什么
apache-kafka
、
kafka-consumer-api
、
apache-kafka-streams
我做过一些
Kafka
流应用程序和
Kafka
消费者
应用程序。归根结底,
Kafka
流只是
消费者
,它消费
来自
Kafka
的
实时事件。所以我不知道什么时候使用
Kafka
streams,或者为什么我们应该使用
Kafka
streams,因为我们可以在
消费者
端执行所有的转换。我想了解
Kafka
stream和
Kafka
consumer之间
的
主要区别,以及如
浏览 4
提问于2019-12-04
得票数 4
2
回答
使用弹簧执行器暴露
kafka
流
指标
(普罗米修斯)
apache-kafka-streams
、
spring-boot-actuator
我正在使用Springboot 2运行
Kafka
Stream应用程序。我想在host:8080/actuator/prometheus上以普罗米修斯格式提供我的卡夫卡数据流
指标
我没办法拥有这个。我不确定我是否理解
kafka
流
指标
是如何导出
的
。actuator可以获得这些JMX
指标
吗?有没有办法获得这些
指标
并以普罗米修斯格式公开它们? PS:也没有使用java jmx_prometheus_agent 有人有解决方案或例子吗? 谢谢
浏览 46
提问于2019-09-25
得票数 7
2
回答
微服务
的
混合通信方法
apache-kafka
、
architecture
、
microservices
我们在系统中有更多
的
服务,但为了简化我
的
问题,假设我有两种类型
的
服务,即工作节点和主节点。我希望它们都是可伸缩
的
。目前,他们通过
kafka
进行交流。我
的
问题:对于一个案例,我想从主节点发布一个事件(生成一个主题
的
消息),并从所有工作节点获取该事件(从主题消费)。但是对于另一种情况,我需要向
特定
的
工作节点发送消息。为了能够涵盖第一种情况,我
的
所有工作节点在
kafka
中都有不同
的
组id
浏览 1
提问于2019-09-06
得票数 0
1
回答
Apache Camel -
Kafka
组件-单生产者多
消费者
java
、
apache-kafka
、
apache-camel
、
kafka-consumer-api
、
kafka-producer-api
我正在创建两个apache camel (blueprint XML)
kafka
项目,一个是
kafka
-producer,它接受请求并将其存储在
kafka
服务器
中
,另一个是
kafka
-consumer,它从
kafka
服务器获取消息并处理它们。但是,如
何在
同一个
kafka
topic
中
创建独立
的
消费群?如
何在
不同
消费者
组内
的
同一主题内路由多个
特定
浏览 28
提问于2020-05-03
得票数 1
1
回答
试图通过jmx编程
访问
kafka
度量时出错
java
、
apache-kafka
、
jmx
我刚开始使用一个简单
的
示例来读取jmx
指标
,并使用HeapMemoryUsage、CPUTime等
的
简单值来获得它
的
感觉。我需要尝试并
访问
kafka
服务器/
消费者
指标
,特别是滞后,我可以看到,在FetcherLagMetrics-ConsumerLag下
的
j控制台应用程序
中
,它是可见
的
。但是,在编程
中
,我得到了以下错误: javax.management.Instance
浏览 0
提问于2018-09-11
得票数 0
回答已采纳
1
回答
我如何找到卡夫卡
消费者
的
比率?
apache-kafka
、
kafka-consumer-api
有什么方法可以找到卡夫卡
消费者
消费信息
的
速度吗?大约5000条消息/秒
浏览 0
提问于2018-05-25
得票数 3
回答已采纳
2
回答
Zookeeper如何从__consumer_offsets主题中检索
消费者
偏移量?
apache-kafka
、
apache-zookeeper
、
kafka-consumer-api
、
kafka-topic
这是一个基于Armando Ballaci提供
的
答案
的
"Where do zookeeper store
Kafka
cluster and related information?“
的
后续问题。现在很明显,
消费者
偏移量存储在
Kafka
集群
中
的
一个名为__consumer_offsets
的
特殊主题中。很好,我只是想知道这些偏移量
的
检索是如何工作
的
。例如,如果数据存储在RDBMS
中<
浏览 40
提问于2020-07-05
得票数 1
1
回答
如何为
消费者
设置卡夫卡补偿?
apache-kafka
、
apache-flink
假设我
的
主题中已经有10个数据,现在我开始编写Flink,
消费者
将使用第11个数据。 任何帮助都是非常感谢
的
。
浏览 1
提问于2018-10-31
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka权威指南(三):Kafka起源故事
Apache Kafka 2.0.0版本发布,多方面功能得到加强
如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS
Apache Kafka 2.0.0 正式发布,多项重要功能更新
kafka sql入门
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券