腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
连接多个
分区
的Kafka集群的
Flink
consumer java.lang.RuntimeException
apache-kafka
、
apache-flink
Flink
版本1.9.0 Scala版本2.11.12 Kafka集群2.3.0版 我正在尝试将我创建的
flink
作业连接到有3个
分区
的kafka集群。当我尝试连接到具有多个
分区
的主题时,我得到以下错误(topicName是我试图使用的主题的名称。奇怪的是,当我试图生成一个多
分区
的主题时,我没有任何问题。(FunctionUtils.java:36) at org.
apache
.
flink
.streaming.api.operators.AbstractUdfS
浏览 87
提问于2019-12-06
得票数 0
回答已采纳
1
回答
很少有kafka
分区
没有分配给任何
flink
使用者
java
、
apache-kafka
、
apache-flink
我有一个kafka主题,有15个
分区
0-14,我正在运行5个并行的
flink
。因此,理想情况下,每个并行
flink
使用者应该分别使用3个
分区
。但是,即使在多次重启之后,很少有kafka
分区
不是由任何
flink
工作者订阅的。-8, topic_name-9 org.
apache
.kafka.clients.consumer.KafkaConsumer assign Subscribed to partition(s):个消费者订阅,而
分区
1和4根本没有
浏览 10
提问于2020-09-08
得票数 1
回答已采纳
1
回答
Flink
凝胶内存耗尽
apache-flink
、
gelly
: 32 minPartition: 29 maxPartition: 30段溢出段数:105个bucketSize: 234个总体内存: 42598400个
分区
内存: 30539776条消息: nullat org.
apache
.
flink
.api.java.LocalEnvironment.execute(LocalEnvironment.java:91) at org.
apache
.
flink
.api.java.LocalEnvironment.execute)在org.
apache</em
浏览 0
提问于2018-07-25
得票数 2
1
回答
FlinkKafkaConsumer010在使用setStartFromTimestamp设置时不起作用
apache-kafka
、
apache-flink
、
flink-streaming
如果我停止我的
flink
程序并重新启动它,它可以使用来自主题A的
分区
-0和
分区
-4的数据,但是如果我向其他4个
分区
发送数据,除非我再次重新启动我的
flink
程序,它仍然不会使用其他4个
分区
的任何数据。-0和
分区
-4之外,其他4个
分区
的偏移量为-1。我的
Flink
版本是1.9.2,
flink
kafka connertor是 <groupId>org.
ap
浏览 6
提问于2020-04-15
得票数 0
回答已采纳
1
回答
Flink
-如何通过JMX报告导出
flink
的kafka连接器偏移量?
apache-flink
、
flink-streaming
metrics.reporter.jmx.class: org.
apache
.
flink
.metrics.jmx.JMXReporter 使用者延迟=最新的kafka
分区
偏移量-
flink
分区
偏移量。
浏览 0
提问于2018-12-10
得票数 0
回答已采纳
1
回答
如何获得产生的消息的RecordMetadata?
apache-kafka
、
apache-flink
我想访问并登录我的
Flink
应用程序所产生的消息的RecordMetadata。是否有可能获得使用org.
apache
.
flink
.streaming.connectors.kafka.FlinkKafkaProducer生成的消息的偏移量/
分区
?
浏览 3
提问于2022-05-04
得票数 0
1
回答
当Kafka主题
分区
重新分配时,
Flink
作业持续失败。
apache-kafka
、
apache-flink
环境麻烦最近,我做手动
分区
重新分配。 atorg.
apache
.
flink</
浏览 4
提问于2021-07-29
得票数 0
1
回答
Apache
flink
分区
java
、
jvm
、
apache-flink
、
flink-streaming
我一直在研究
flink
。我对
flink
中的内存管理有疑问。在
flink
中内存是如何管理的。在
flink
中是否也有类似的功能,比如"blocks in spark“?请让我知道,如果有好的地方阅读
flink
中的内存管理。
浏览 12
提问于2019-02-15
得票数 0
回答已采纳
1
回答
使用
Apache
Spark/
Apache
Flink
进行缩放
apache-spark
、
apache-kafka
、
apache-flink
我计划了一个从
Apache
读取的应用程序,经过(可能耗时的)处理后,将数据保存到数据库中。我的例子是消息,而不是流,但为了可伸缩性,我正在考虑将其插入Spark或
Flink
,但无法理解这些扩展:我的应用程序,当Spark/
Flink
的一部分读取了Kafka的一些数据,然后退出或继续阅读吗?那么,Spark/
Flink
将如何决定他们必须生成更多的我的应用程序实例来提高吞吐量呢? 谢谢!
浏览 4
提问于2017-09-20
得票数 0
回答已采纳
1
回答
在执行纱线应用程序杀死并再次运行后,
flink
是否会从上一次偏移恢复?
apache-kafka
、
apache-flink
、
checkpoint
我已经知道
flink
将开始从使用者组的. https://ci.
apache
.org/projects/
flink
/
flink
-docs-stable/dev/connectors/kafka.html#kafka-consumers-start-position-configuration读取
分区
,并且偏移量将存储到远程fileSystem中的检查点中。https://ci.
apache
浏览 6
提问于2019-11-04
得票数 2
回答已采纳
1
回答
Flink
SQL不遵守“table.exec.source.空闲-超时”设置
apache-kafka
、
apache-flink
、
flink-sql
我有一个运行FlinkSQL的
Flink
作业,其设置如下:注意:我在本地使用了一个Kafka代理,它有三个
分区
。并且我的测试数据是键控的,因此被发送到同一个
分区
。但是,即使其他
分区
空闲,
浏览 3
提问于2021-10-26
得票数 0
回答已采纳
4
回答
Flink
窗口函数getResult未触发
apache-flink
、
flink-streaming
我试图在我的
Flink
工作中使用事件时间,并使用BoundedOutOfOrdernessTimestampExtractor提取时间戳并生成水印。.aggregate(new CountTask(basicMetricTags, windowInMinutes)) 所有的水印模拟都显示了No Watermark,我怎么能让
Flink
浏览 28
提问于2020-04-03
得票数 0
回答已采纳
1
回答
利用输入
分区
来避免任务管理器之间的通信。
apache-flink
、
apache-beam
、
flink-streaming
我们有一个
Flink
管道,通过将数据与相同的键("client-id")结合在同一个窗口中,聚合每个“客户端”的数据。这个问题是微不足道的并行性的,并且输入Kafka主题有几个
分区
(与
Flink
并行性相同的数字)--每个
分区
都包含一个客户端的子集。也就是说,一个客户端总是在一个特定的Kafka
分区
中。,如果后者是真的--我们能以某种方式避免重组,并按照输入
分区
分配的方式将数据保持在每个操作符的本地吗? 注意:我们实际上是在使用带有
Flink
后端的<e
浏览 5
提问于2021-11-05
得票数 0
回答已采纳
2
回答
FlinkKafkaException:未能将数据发送给Kafka:自批处理创建以来,“`topic`”:120001 ms的过期19条记录已过
apache-kafka
、
apache-flink
我有一个由30个经纪人组成的kafka集群,我的
flink
工作做了一个过滤器操作员,只将数据汇到kafka。下面是我的生产者设置,最初我有5个接收器主题
分区
,但现在10个,我仍然得到同样的问题。at org.
apache
.
flink
.streaming.runtime.tasks.StreamTask.triggerCheckpoint(StreamTask.java:1000) atorg.
apache
.
flink
.streaming.runtime.tasks.StreamT
浏览 23
提问于2022-04-11
得票数 1
2
回答
分块前的
Flink
滤波器
apache-flink
、
flink-streaming
Apache
使用DAG风格的懒惰处理模型,类似于
Apache
(如果我错了,请纠正我)。.);我的问题是,
flink
在这里将如何处理filter?在对流进行
分区
/分发之前,过滤器是否会应用于传入的DataStream,而DataStream只会被通过筛选标准的Element所创建?
浏览 7
提问于2020-05-08
得票数 0
回答已采纳
1
回答
更新keyBy()中指定的键
apache-flink
、
flink-streaming
process(doSomething())我需要改变keyBy()操作符使用inboundData POJO的不同属性对数据进行
分区
的方式at org.
apache
.
flink
.streaming.api.operators.StreamTaskStateInitializerImpl.streamOperatorStateContext(StreamTask.java:738) at org.
apache
.
浏览 0
提问于2019-08-08
得票数 1
5
回答
Flink
插槽删除异常
apache-flink
我得到以下异常at org.
apache
.
flink
.runtime.resourcemanager.slotmanager.SlotManager.removeSlots(SlotManager.java:759) at org.
apache
.
flink
.runtime.resource
浏览 0
提问于2019-01-08
得票数 5
3
回答
使用
Flink
-Kafka连接器均匀地消耗事件
apache-flink
、
flink-streaming
我正在使用
Flink
来处理Kafka的流数据。流程是非常基本的,从Kafka消耗,数据丰富,然后沉到FS。偶尔,在一些Kafka
分区
中会出现延迟。重新启动应用程序可以帮助
Flink
“重新平衡”消费和延迟。然而,过了一段时间,我看到了其他
分区
的滞后等等。看到这种行为,我尝试使用
Flink
文档中建议的rebalance()来重新平衡消费比率:
浏览 4
提问于2020-06-16
得票数 2
回答已采纳
1
回答
Apache
Apex诉
Apache
Flink
apache-flink
、
stream-processing
、
apache-apex
由于这两种框架都是一次处理事件的流框架,这两种技术/流框架之间的核心架构差异是什么?
浏览 3
提问于2017-08-24
得票数 7
1
回答
如何在
Apache
Flink
中使用不断增长的hdfs目录作为流源
apache-flink
我们有一个时间
分区
的hdfs目录,它一直在增长。有没有办法一致地使用
apache
flink
将此目录作为流使用?
浏览 74
提问于2020-07-24
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
什么是 Apache Flink?
Apache Flink 进阶(六):Flink 作业执行深度解析
《从0到1学习Flink》——Apache Flink 介绍
官宣:Apache Flink 1.14.0 发布
Apache Flink本地安装及Example运行
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券