腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(8294)
视频
沙龙
2
回答
flink
kafka
消费者
groupId不起作用
、
根据
Kafka
的行为,当我使用相同的group.Id在同一主题上运行两个
消费者
时,它应该像消息队列一样工作。我尝试使用随
kafka
服务器下载的
消费者
客户端。它以记录的方式工作(处理了2条消息)。有什么想法吗?这是我期望的输出: 1>
Kafka
浏览 10
提问于2016-07-28
得票数 6
回答已采纳
1
回答
Flink
kafka
消费者
落后
、
、
、
我正在使用来自
Kafka
源码的数据流,用于我的
flink
作业,一次阅读50个主题,如下所示: FlinkKafkaConsumer<GenericRecord> kafkaConsumer = newfilter->map->keyBy->window->aggreagate->sink 我能得到的最大吞吐量是每秒10k到20k条记录,考虑到源程序发布了数十万个事件,这是相当低的,而且我可以清楚地看到
消费者
正在
落后
于生产者
浏览 31
提问于2021-04-10
得票数 0
1
回答
Flink
,在使用多个
Kafka
源时,如何正确设置并行性?
、
我仍然不能清楚地理解并行性,比方说,我们有一个
flink
集群,它有足够的插槽。在我们的
flink
工作中,我们从3个不同的
kafka
集群中使用3个
kafka
主题,每个主题有10个分区。
浏览 0
提问于2019-03-13
得票数 12
回答已采纳
1
回答
我真的需要
Flink
检查点吗?
、
我有一个
Flink
应用程序,它从
Kafka
读取一些事件,从MySQL中丰富数据,使用窗口函数缓冲数据,并将窗口中的数据写入HBase。我目前已经启用了检查点,但它被证明是相当昂贵的检查点,随着时间的推移,它需要越来越长的时间,并影响我的工作的延迟(
落后
于
kafka
摄取率)。我可以配置内部的
kafka
消费者
客户端,让它经常提交一次,对吗?
浏览 9
提问于2019-10-08
得票数 0
1
回答
FlinkKafkaConsumer和版本化使用者FlinkKafkaConsumer09/FlinkKafkaConsumer010/FlinkKafkaConsumer011之间的差异
、
、
Flink
-
kafka
-consumer有两种类型的
消费者
,例如: 这两个
消费者
层次结构都扩展了相同的FlinkKafkaConsumerBase类。我想知道维护编号类背后的设计决策是什么?https://github.com/apache/
flink
/blob/master/
flink
-connectors/
flink
-connector-
kafka
/src
浏览 6
提问于2020-09-14
得票数 0
2
回答
使用卡夫卡主题时的org.apache.
flink
.streaming.api.checkpoint.CheckpointNotifier :ClassNotFoundException
、
、
我使用的是最新的
Flink
-1.1.2-Hadoop-27和
flink
-连接器-
kafka
-0.10.2-Hadoop 1罐。
Flink
消费者
如下: properties = new Properties(); InputStream props = Resources.getResour
浏览 2
提问于2016-10-14
得票数 7
回答已采纳
2
回答
使用
Kafka
作为
Flink
的输入源是性能瓶颈吗?
、
、
Flink
允许阅读
Kafka
主题,这是性能瓶颈使
Flink
整体速度变慢吗?
浏览 3
提问于2018-11-01
得票数 0
1
回答
kafka
作为
flink
- partitioning的消息分派器
、
、
我有一个进程,需要将某些数据分派到由3个节点组成的
flink
集群(通过
kafka
)。据我所知,总共会有两个不同的主题。所有的消息都会有时间戳。消息顺序必须保持不变。
浏览 1
提问于2018-09-10
得票数 0
1
回答
Kafka
消费者
诉Apache
Flink
、
、
、
、
我做了一个poc,在其中我使用火花流读取来自
Kafka
的数据。但是我们的组织要么使用Apache或者
Kafka
使用者来读取Apache中的数据作为一个标准过程。所以我需要用
Kafka
消费者
或者Apache来代替
Kafka
流媒体。在我的应用程序用例中,我需要从
kafka
读取数据,过滤json数据,并在cassandra中放置字段,因此建议使用
Kafka
使用者,而不是
flink
/其他流,因为我实际上不需要对
Kafka
json数
浏览 4
提问于2017-03-26
得票数 0
1
回答
同一
Kafka
主题的多个
Flink
管道
、
背景时不时地,我们的
Flink
不能处理突发信息。如果我们使用常规的
Kafka
用户,那么就像添加一个用户一样简单(假设我们有足够的
Kafka
分区),并且
Kafka
将在所有用户之间重新分配主题分区。
Flink
Kafka
消费者
自己管理分区分配和偏移量,这允许只有一次语义(我们不需要它)。缺点是单个
Flink</
浏览 27
提问于2019-11-14
得票数 1
2
回答
Flink
不对
kafka
进行抵消
、
、
、
、
我有一个
flink
流媒体工作,是从卡夫卡读取数据,并只是记录它。我启用了检查点。任何帮助都是徒劳无功的。{$
KAFKA
_HOME/bin/
kafka
-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --describe--group
flink
-consumer-group Error while executing consumer group command Gro
浏览 5
提问于2017-02-06
得票数 3
回答已采纳
1
回答
Flink
(
Kafka
源代码)是如何管理抵消的?
、
我正在使用弗林克的FlinkKafkaConsumer09,我想知道卡夫卡
消费者
的补偿存储在哪里? 我在动物园管理员和卡夫卡的偏移话题中找不到它们。而且卡夫卡-
消费者
补偿工具找不到。这是
Flink
内部处理的吗?
浏览 2
提问于2017-01-28
得票数 2
回答已采纳
1
回答
如何使用命令行创建
Kafka
消费组?
我使用
flink
作为上述主题的
消费者
。在
flink
中,为了添加
kafka
源,我们需要传入group.id (
消费者
组)作为参数。如何为我的主题创建一个新的消费组?我很少有参考资料说在--consumer-property group.id=group_name中使用
kafka
-consumer-group。但是,当我运行
kafka
-consumer-group --help时,我看不到选项
浏览 45
提问于2019-08-02
得票数 1
1
回答
Flink
Kafka
指标:如何获取它们
、
、
、
、
理想情况下,我想运行一些实验来测量我的应用程序的输入使用者的压力(即,如果我的应用程序
落后
于输入数据主题,并且消息到达的速度快于它们的处理速度)。: org.apache.
flink
.metrics.jmx.JMXReporterFactory metrics.reporter.jmx.port: 8789 那么,我是否应该使用start-cluster.sh脚本运行
flink
应用程序,然后呢?在the same docs中,为
Kafka
指定了committedOffsets和currentOffsets。我认为
消
浏览 51
提问于2020-06-15
得票数 0
1
回答
如何为
消费者
设置卡夫卡补偿?
、
假设我的主题中已经有10个数据,现在我开始编写
Flink
,
消费者
将使用第11个数据。 }和pom.xml: <groupId>org.apache.
flink
</
浏览 1
提问于2018-10-31
得票数 2
回答已采纳
1
回答
Flink
-多种主题的卡夫卡
消费者
、
、
、
我有一个
Flink
卡夫卡
消费者
,从多个卡夫卡主题(3在我的例子)。在
kafka
上,每个主题有5个分区。默认情况下,
Flink
创建了多少
消费者
。 卡夫卡信息的消费非常缓慢,所以我无法计算出每个主题所附带的
消费者
数量。
浏览 0
提问于2018-07-24
得票数 1
1
回答
Flink
Kafka
连接器运行时错误
、
我正在使用: at org.apache.
flink
.streaming.connectors.
kafka
.FlinkKafkaConsumer09.open(FlinkKafkaConsumer09at org.ap
浏览 1
提问于2016-10-12
得票数 0
1
回答
FlinkKafkaConsumer在HiBench中的容错性
、
、
、
、
我目前正在使用HiBench框架和为
Flink
实现的WordCount微基准。我注意到,如果在执行过程中杀死一个TaskManager,
Flink
操作符的状态会在自动“重新部署”之后恢复,但是会有很多(全部?)从基准发送到
Kafka
的元组被忽略(存储在
Kafka
中,但没有在
Flink
中接收)。
浏览 0
提问于2018-04-06
得票数 3
回答已采纳
1
回答
Flink
如何发现每个键的所有
kafka
分区
、
我希望
flink
发现每个密钥的所有
kafka
分区。我有30个分区和12个任务。我通过用户id "keyby“我的数据。我认为每个任务的
flink
只能发现特定的
kafka
分区&我不能在一个任务中检测到每个用户的所有数据。
浏览 29
提问于2019-10-07
得票数 0
1
回答
如何知道卡夫卡队列中消耗了多少数据,卡夫卡队列中存在哪些数据?
、
、
、
、
我正在"topicDemo“
Kafka
中生成数据和消费数据,以启用分布式数据并并行处理这些数据。props.put("value.serializer", "org.apache.
kafka
.common.serialization.ByteArraySerializer");org.apache.
kafka
.clients.producer.Producer<Integer, byte[]> producer = new KafkaProducer<Integer, by
浏览 0
提问于2016-10-26
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
整合Kafka+Flink
Flink-Connector-Kafka(一)
《从0到1学习Flink》——Flink 写入数据到 Kafka
当Flink遇到Kafka-FlinkKafkaConsumer使用详解
Kafka消费者API
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券