腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Kafka
streams
线程
和
正在
处理
的
记录
计数
apache-kafka
、
kafka-consumer-api
、
apache-kafka-streams
、
confluent-platform
假设我们有一个具有2个分区
的
主题,并且没有'n‘个生产者为该主题生成数据。现在,数以百万计
的
MessageRecords分布在2个分区上。比方说,我们有两个
线程
(即两个独立
的
实例)为
Streams
处理
器供电。现在,在这个设置中,假设
线程
-1(即流式任务-1)获得分区P-1,而
线程
-2(即流式任务-2)获得分区P-2进行
处理
!!问题是:-比方说,我们想知道,到目前为止,流任务已经
处理
了多少MessageRec
浏览 18
提问于2020-09-29
得票数 0
2
回答
在
Kafka
Streams
应用程序中启动新
线程
(使用编程方式)是否可取?
java
、
apache-kafka
、
apache-kafka-streams
我们
正在
使用低级
处理
器API开发一个
Kafka
Streams
应用程序。 根据
Kafka
上
的
文档,所有的
线程
和
并行性都是由Stream
线程
和
流任务
处理
的
。使用主题上
的
分区,并行性也是可扩展
的
。Write back to output topic });
浏览 15
提问于2019-05-29
得票数 2
6
回答
Kafka
Streams
:流式计算、
Kafka
Streams
的
特点
和
架构是什么?
api
Kafka
在0.10版本推出了Stream API,提供了对存储在
Kafka
内
的
数据进行流式
处理
和
分析
的
能力。小白一名,各位大佬能给我解释一下流式计算、
Kafka
Streams
的
特点
和
架构吗?谢谢!
浏览 2079
提问于2018-09-14
2
回答
Kafka
流并发?
apache-kafka
、
apache-kafka-streams
我有一些基本
的
Kafka
流代码,可以从一个主题读取
记录
,进行一些
处理
,并将
记录
输出到另一个主题。如果它是多
线程
的
,我需要了解它是如何工作
的
,以及如何
浏览 1
提问于2016-10-12
得票数 27
回答已采纳
1
回答
Kafka
Streams
-在流
线程
开始
处理
之前恢复全局状态存储
apache-kafka
、
apache-kafka-streams
我已将全局状态存储附加到我
的
拓扑中。从压缩主题读取时
的
全局状态存储。这个全局状态存储存储了100,000条
记录
,这些
记录
应该在状态存储中,以便正确
处理
拓扑。问:在应用程序重启期间,
kafka
streams
将启动全局状态存储
线程
,并确保在启动
streams
线程
之前完全构建状态? 我
正在
努力寻找一些与这个主题相关
的
文档,请给我代码或文档。
浏览 13
提问于2020-02-28
得票数 1
1
回答
kafka
流/表、globalktable、borker
和
分区中
的
相关性是什么?
apache-kafka
、
apache-kafka-streams
、
spring-kafka
我
正在
研究
kafka
streams
,table,globalktable等。现在我对此感到困惑。 GlobalKTable到底是什么?但总体而言,如果我有一个具有N个分区
的
主题
和
一个
kafka
流,在我发送了一些关于该主题
的
数据之后,有多少流(分区?)我会有吗?我做了一些尝试,我注意到匹配是1:1。但是如果我在不同
的
代理上复制主题呢?
浏览 0
提问于2020-04-21
得票数 0
1
回答
具有重要磁盘IO
的
Kafka
流作业
apache-kafka
、
kafka-consumer-api
、
apache-kafka-streams
这是一个最大IOPS为500
的
Azure VM,它消耗了大约500 This (从RHEL中
的
iostat到每秒
处理
400个
记录
)。作业从
Kafka
主题(12个分区)获取
记录
,解构JSON字符串并进行一些
处理
(字符串搜索、替换和数据充实),然后将其传递给
Kafka
接收器(6个分区)。我尝试过使用StreamsConfig.NUM_STREAM_THREADS_CONFIG运行从1到12个
线程
之间
的
任何地方。这个作业每
浏览 0
提问于2019-07-24
得票数 0
回答已采纳
2
回答
KGroupedTable
的
计数
可以是负数吗?
apache-kafka-streams
我
的
代码是在KTable上应用一个groupBy,后跟一个
计数
: .groupBySerialized.with(AggregationFields.getSerde(), Serdes.Long())) .toStream(); 在我
的
生产环境中,我有时会在启动这个应用程序时看到
计数
产生负数,即使我
正在</
浏览 1
提问于2018-07-12
得票数 0
1
回答
stream-state-metrics bytes-written total始终为0
apache-kafka-streams
在我
的
例子中,
kafka
_
streams
_stream_state_metrics_bytes_written_rate总是0。但是我看到
kafka
_
streams
_stream_rocksdb_state_metrics_put_total反映了
记录
的
总数。可能
的
原因是什么?我尝试通过rocksdb.config.setter类设置选项中
的
统计信息,然后它就起作用了。我使用
的
是
kafka
-
浏览 13
提问于2020-04-21
得票数 0
1
回答
卡夫卡流与EXACTLY_ONCE_V2: InvalidProducerEpochException:生产者试图与一个古老
的
时代生产
apache-kafka
、
apache-kafka-streams
这是一个简单
的
、普通
的
Kafka
应用程序,它执行使用EXACTLY_ONCE_V2配置
的
简单
记录
转换。-1任务_11错误,发送
记录
到主题数据-
记录
-输出
的
任务0_11,因为: org.apache.
kafka
.common.errors.InvalidProducerEpochException:生产者试图生产与旧时代不会
记录
书面偏移量,也不会发送更多
的
记录
,因为生产者被设置了栅栏
浏览 29
提问于2021-11-27
得票数 5
回答已采纳
1
回答
卡夫卡坚持使用num.stream.threads
和
max.poll.record
apache-kafka
、
apache-kafka-streams
我有一个
Kafka
消费者,配置如下。num.stream.threads=10 max.poll.record=90 是消费者消费了10个
线程
的
topic中
的
90条
记录
,还是消费者中
的
10*90=900消息。
浏览 1
提问于2020-07-02
得票数 0
1
回答
Apache
Kafka
流构建器
的
使用
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
、
apache-kafka-streams
我一直在尝试Apache
Kafka
开源生产者
和
消费者数据流。我有一个问题,使用1.) KafkaProducer, producer.send
和
2.)它们不都是用于
kafka
流数据
的
吗?如果我只使用KafkaProducer, producer.send,我不能实现数据流吗?
浏览 1
提问于2018-03-16
得票数 0
1
回答
Apache
Kafka
与HTTP API
apache-kafka
我刚接触Apache
Kafka
和它
的
与API相关
的
流服务,但想知道是否有任何正式
的
文档来获取摄取所需
的
初始原始数据?从本质上讲,我想尝试构建一个初级
的
密码交易机器人,但我
的
印象是http API可能比与
Kafka
Streams
集成
的
API具有更多
的
延迟。例如,我知道RapidAPI有一个可以访问
的
http库,可以帮助提取数据,但我不确定如果我想通过
Kafka
浏览 0
提问于2021-06-05
得票数 0
1
回答
如何增加拓扑中
处理
记录
的
线程
数?
apache-kafka-streams
stringSerializer, stringSerializer, "process1","process2","process3");processor3 97527H7-e45cfcd3-6fb7-4fa9-b6a1-b3f5ed122304-StreamThread-1 我想要一个multiThreading在一个
线程
中执行每个
处理
器
浏览 11
提问于2019-11-08
得票数 1
2
回答
在.Net中实现
Kafka
Streams
处理
器?
apache-kafka
、
apache-kafka-streams
官方
的
.Net客户端似乎只提供了消费者
和
生产者功能。 (根据我对
Kafka
streams
的
记忆,很久以前)我相信
Kafka
Streams
处理
器总是运行在运行
Kafka
本身
的
JVM上。在这种情况下,这基本上是不可能
的
。
浏览 0
提问于2018-02-16
得票数 13
回答已采纳
1
回答
使用groupByKey/windowedBy/count对
Kafka
流进行单元测试
apache-kafka
、
apache-kafka-streams
我
的
问题类似于:.filter().windowedBy(SessionWindows.with(30).grace(5)).toStream(outTopic)key1, {somejson}key1, {somejson}当我为此编写单元测试时(在阅读了关于advancedWallClockTime
的
另一个问题后,
浏览 2
提问于2020-05-29
得票数 2
1
回答
Kafka
: max.poll.interval.ms设置为Integer.MAX_VALUE,但应用程序仍超时
apache-kafka
、
kafka-consumer-api
、
apache-kafka-streams
我
正在
使用
kafka
-clients 2.5.1,并且有一个具有以下属性
的
kafka
streams
应用程序:properties.put(ConsumerConfig.HEARTBEAT_INTERVAL_MS_CONFIG, "3000"); 平均而言
浏览 2
提问于2021-07-02
得票数 0
1
回答
Kafka
streams
GlobalKTable在Tombstone - null值
记录
上抛出反序列化异常
java
、
apache-kafka-streams
、
spring-cloud-stream
、
spring-cloud-stream-binder-kafka
我有一个基于Spring cloud stream
的
Kafka
Streams
应用程序,其中我将全局KTable绑定到一个紧凑
的
主题。当我将Tombstone
记录
推送到主题(带有空值
的
非空键)时-我
的
Kafka
streams
应用程序失败,并出现反序列化异常。失败是因为我
的
反序列化程序不
处理
空
记录
。从文档中,我认为GlobalKTable甚至不会“看到”空值
记录
。
浏览 12
提问于2020-09-03
得票数 1
回答已采纳
2
回答
Kafka
Streams
线程
数
apache-kafka
、
apache-kafka-streams
我是
Kafka
Streams
的
新手,我目前对
Kafka
Streams
应用程序
的
最大并行度感到困惑。我通过下面的链接,没有得到我想要
的
答案。如果我有2个输入主题,一个有10个分区,另一个有5个分区,并且只有一个
Kafka
Streams
应用程序实例
正在
运行来
处理
这两个输入主题,那么在这种情况下,我可以拥有的最大
线程
数是多少?
浏览 4
提问于2018-01-05
得票数 9
回答已采纳
1
回答
KafkaStreams:在KStream-KTable中
处理
反序列化异常
apache-kafka-streams
假设我们
正在
KStream
和
KTable之间进行内部连接,如下所示: JsonSerde反序列化方法中
的
断点显示,它试图从主题"app-KSTREAM-TOTABLE-STATE-STORE-0000000002-changelog".反序列化数据 所以问题是为什么应用程序要关闭而不是跳过坏
记录
(即旧模式
的
记录
),尽管DEFAULT_DESERIALIZ
浏览 2
提问于2020-06-06
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
初探Kafka Streams
Kafka入门&介绍part1
Kafka streams概览
Kafka Streams与Quarkus:实时处理事件
Kafka入门教程(二):Consumer使用(topic,partition和offset
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券