腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(7234)
视频
沙龙
1
回答
如何
打印
Flink
开始
读取
的
每个
Kafka
主题
分区
的
起始
偏移量
?
apache-kafka
、
apache-flink
、
flink-streaming
我想
打印
从
Flink
开始
读取
的
Kafka
主题
的
每个
分区
的
起始
偏移量
?
浏览 21
提问于2020-07-22
得票数 0
回答已采纳
1
回答
如何
为消费者设置卡夫卡补偿?
apache-kafka
、
apache-flink
假设我
的
主题
中已经有10个数据,现在我
开始
编写
Flink
,消费者将使用第11个数据。 如果
Flink
使用者崩溃并在几分钟后恢复。消费者
如何
知道
浏览 1
提问于2018-10-31
得票数 2
回答已采纳
1
回答
阅读来自
kafka
- segmentio/
kafka
-go
的
最新消息
go
、
apache-kafka
、
segment-io
我正在使用segmentio/
kafka
-go客户端来
读取
主题
中
的
消息。我找不到..
如何
从上一条/新消息
开始
阅读。 每次启动代码时,它都会从该
分区
中
的
起始
偏移量
开始
读取
。
浏览 8
提问于2019-11-24
得票数 2
1
回答
Flink
,在使用多个
Kafka
源时,
如何
正确设置并行性?
apache-flink
、
flink-streaming
我仍然不能清楚地理解并行性,比方说,我们有一个
flink
集群,它有足够
的
插槽。在我们
的
flink
工作中,我们从3个不同
的
kafka
集群中使用3个
kafka
主题
,
每个
主题
有10个
分区
。如果我们将并行性设置为10,那么就会使用10个槽,这意味着,根据我
的
理解,10个线程对吗?如果这10个线程“连接”到topic_1,那么就没有线程
读取
topic_2和topic_3。如
浏览 0
提问于2019-03-13
得票数 12
回答已采纳
1
回答
flink
检查点
如何
帮助故障恢复
apache-flink
、
flink-streaming
我
的
flink
作业使用FlinkKafkaConsumer010从
kafka
consumer
读取
数据,并使用CustomBucketingSink接收到hdfs。以下是我
的
假设:
Flink
从
kafka
消耗一些固定数量
的
事件(一次从多个
分区
获得多个
偏移量
),并等待,直到它到达接收器,然后是检查点。在成功
的
情况下,它提交
kafka
分区
,偏移它
读取
浏览 0
提问于2020-03-12
得票数 0
2
回答
在什么情况下,
Flink
1.15.2作业可以停止在单个
Kafka
分区
上
的
消费,而在其他
分区
上继续使用?
apache-kafka
、
apache-flink
我们正在运行一个
Flink
1.15.2集群,其作业具有
Kafka
Source和
Kafka
Sink。 源
主题
有30个
分区
。有5个TaskManager节点,容量为4个时隙,我们运行作业
的
并行性为16,因此是4个空闲时隙。因此,取决于插槽/节点分配,我们可以预期,
每个
节点大约分配6-7个
分区
。由于
Flink
做了自己
的
偏移量
管理,我们没有办法(通过
Flink
或
Ka
浏览 8
提问于2022-11-01
得票数 0
1
回答
FlinkKafkaConsumer010在使用setStartFromTimestamp设置时不起作用
apache-kafka
、
apache-flink
、
flink-streaming
A
的
分区
-0和
分区
-4发送一些消息(
主题
A有6个
分区
,当前
的
系统时间已经在1586852770000L之后)。但是我
的
flink
程序不使用来自
主题
A
的
任何数据,所以这是一个问题吗?如果我停止我
的
flink
程序并重新启动它,它可以使用来自
主题
A
的
分区
-0和
分区
-4
的
数据,但是如果我向其他4个<e
浏览 6
提问于2020-04-15
得票数 0
回答已采纳
1
回答
KTables
如何
在创业时与卡夫卡互动?
apache-kafka
、
apache-kafka-streams
我有点搞不懂这在概念上是
如何
运作
的
。
kafka
流
如何
保证由
kafka
broker分配给它
的
分区
与分配给其他
主题
的
分区
匹配?好像需要协调一下吗?而且,卡夫卡流总是从一
开始
就阅读压缩
的
主题
,还是从最新
的
偏移量
中
读取
?一旦它从压缩
的
主题
中
读取
消息,它是否提交<
浏览 2
提问于2020-07-31
得票数 0
回答已采纳
1
回答
如何
在Java中为消费群体拉取ConsumerOffset (存储在
kafka
中)?
java
、
apache-kafka
、
kafka-consumer-api
我有多个
Kafka
消费者和生产者,有不同
的
主题
。使用一个独立
的
应用程序,我想要监控
kafka
消费者
的
滞后。我正在使用
kafka
0.10.0.1,因为
Kafka
现在将消费者
偏移量
存储在
kafka
本身中,所以我
如何
才能
读取
相同
的
偏移量
。 我能够
读取
每个
分区
的
主题</em
浏览 0
提问于2017-03-06
得票数 0
1
回答
再处理/再读卡夫卡记录/信息-消费者集团抵消重置
的
目的是什么?
apache-kafka
、
kafka-consumer-api
我
的
kafka
主题
共有10条记录/消息和2个
分区
,
每个
分区
有5条消息。我
的
使用者组有2个消费者,
每个
使用者已经分别从他们分配
的
分区
中
读取
了5条消息。现在,我希望从
开始
/
开始
重新处理/
读取
来自我
的
主题
的
消息(
偏移量
0)。 我停止了
kafka
浏览 3
提问于2019-06-27
得票数 4
1
回答
Flink
Kafka
消费者补偿在重新分配工作时被重置为0
apache-kafka
、
apache-flink
我遇到
的
问题是,在重新启动
Kafka
和
Flink
作业时,FlinkKafkaConsumer偏移被重置为0,因此数据被重新处理,即使我启用了检查点,并且在
Flink
作业中启用了一次语义。这是我
的
环境细节 在KubernetesKafka源
主题
下运行
的
有10个
分区
,没有replication.
Kafka
,有3个代理。只有当源
主题
有超过一个
分区
,并且
Flink
无法连接到分布
分区
浏览 6
提问于2022-01-25
得票数 0
1
回答
Flink
kafka
消费者从特定
分区
获取消息
apache-kafka
、
apache-flink
、
flink-streaming
我们希望在
读取
来自
kafka
的
消息时实现并行性。因此,我们希望在flinkkafkaconsumer中指定
分区
编号。它将
读取
kafka
中所有
分区
的
消息,而不是特定
的
分区
号。kafkaConsumer = new FlinkKafkaConsumer<String>("EventLog", new SimpleStringSchema(), properties); 请建议任何更好<em
浏览 139
提问于2020-07-09
得票数 1
1
回答
从
kafka
获取所有消息,带
开始
和结束时间
apache-kafka
我在环境中有
Kafka
集群,我需要创建一个作业,根据
开始
和结束时间从
Kafka
主题
的
所有
分区
读取
消息。所以,就像我想阅读从00:00:09:14:09:2020(SEC-MINUTES-HOURS-DAY-MONTH-YEAR)到00:00:10:14:09:2020 (持续1小时)
的
所有
Kafka
主题
消息Python或Java这两种语言中
的
任何一种都可以用于解决方案,甚至是linux命令。 提前谢
浏览 67
提问于2020-09-14
得票数 0
1
回答
了解卡夫卡民意调查并获得全部数据
scala
、
apache-kafka
、
kafka-consumer-api
我是第一次在scala中使用
kafka
。我试图消费卡夫卡
主题
的
数据,该
主题
已经由制片人发送。我
的
代码如下:我的卡夫卡
主题
已经有49张唱片了。当我用这个
的
时候,它带来了随机记录。当我
打印
偏移量
和时间戳时,它
开始
打印
从0到21
的
偏移量
。但当我检查卡夫卡
主题
0偏移时间戳是不同<em
浏览 4
提问于2020-07-28
得票数 0
2
回答
卡夫卡火花抵消
scala
、
apache-spark
、
apache-kafka
卡夫卡enable.auto.commit设置为false,火花版本为2.4 如果使用最新
的
偏移量
,是否需要手动查找最后
偏移量
的
详细信息,并在星火应用程序中
的
.CreateDirectStream(还是会自动使用最新
的
偏移量
?在任何情况下,我们都需要手动找到最后
的
偏移量
细节。使用SparkSession.readstrem.format(
kafka
)....和KafkaUtils.createDirectStre
浏览 4
提问于2021-09-23
得票数 0
回答已采纳
1
回答
在执行纱线应用程序杀死并再次运行后,
flink
是否会从上一次偏移恢复?
apache-kafka
、
apache-flink
、
checkpoint
我使用FlinkKafkaConsumer来使用
kafka
并启用检查点。现在,我对偏移管理和检查点机制有点困惑。我已经知道
flink
将
开始
从使用者组
的
. https://ci.apache.org/projects/
flink
/
flink
-docs-stable/dev/connectors/
kafka
.html#
kafka
-consumers-start-position
浏览 6
提问于2019-11-04
得票数 2
回答已采纳
3
回答
来自不同消费群体
的
多个消费者
如何
从同一个
分区
读取
数据?
apache-kafka
、
kafka-consumer-api
我有一个用例,其中我有两个消费者在不同
的
消费者组(cg1和cg2)中,订阅了具有4个
分区
的
相同
主题
(
主题
A)。如果两个使用者从同一个
分区
读取
数据,其中一个失败,而另一个提交了
偏移量
,会发生什么情况?
浏览 1
提问于2020-03-06
得票数 1
2
回答
如何
从
Kafka
中
的
特定
偏移量
获取数据?
node.js
、
apache-kafka
、
kafka-consumer-api
我正在使用
kafka
-node客户端从
kafka
发布和订阅。我想获取特定
偏移量
的
特定消息。谢谢
浏览 0
提问于2019-01-23
得票数 2
1
回答
Kafka
:谁负责维护消费者群体
读取
偏移量
消息
的
上限?
apache-kafka
、
kafka-consumer-api
我知道
Kafka
Queue Partition中
的
所有消息(或
偏移量
)都有它
的
偏移量
,它负责
偏移量
的
顺序。但是,如果我有一个
Kafka
Consumer Group (或单个
Kafka
Consumer),它正在
读取
特别是
Kafka
主题
分区
,那么它
如何
维护
读取
的
偏移量
消息,以及谁维护这个<e
浏览 18
提问于2020-07-04
得票数 1
回答已采纳
1
回答
同一
Kafka
主题
的
多个
Flink
管道
apache-kafka
、
apache-flink
背景时不时地,我们
的
Flink
不能处理突发信息。如果我们使用常规
的
Kafka
用户,那么就像添加一个用户一样简单(假设我们有足够
的
Kafka
分区
),并且
Kafka
将在所有用户之间重新分配
主题
<
浏览 27
提问于2019-11-14
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
kafka 内部是怎么存储消息的
Flink on Hive构建流批一体数仓
消息中间件—Kafka数据存储(一)
“事件驱动架构”Apache Kafka中的事务
“消息中间件”Apache Kafka中的事务
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券