腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Flink
kafka
消费者从特定
分区
获取消息
apache-kafka
、
apache-flink
、
flink-streaming
我们希望在读取来自
kafka
的
消息时实现并行性。因此,我们希望在flinkkafkaconsumer中指定
分区
编号。它将读取
kafka
中
所有
分区
的
消息,而不是特定
的
分区
号。kafkaConsumer = new FlinkKafkaConsumer<String>("EventLog", new SimpleStringSchema(), properties); 请建议任何更好
的
选项
浏览 139
提问于2020-07-09
得票数 1
1
回答
Flink
如何
发现
每个
键
的
所有
kafka
分区
apache-flink
、
flink-streaming
我在我
的
数据流中使用"keyby“。我希望
flink
发现
每个
密钥
的
所有
kafka
分区
。我有30个
分区
和12个任务。我通过用户id "keyby“我
的
数据。我认为
每个
任务
的
flink
只能
发现
特定
的
kafka
分区
&我不能在一个任务中检测到
每个
用户<em
浏览 29
提问于2019-10-07
得票数 0
1
回答
Flink
,在使用多个
Kafka
源时,
如何
正确设置并行性?
apache-flink
、
flink-streaming
我仍然不能清楚地理解并行性,比方说,我们有一个
flink
集群,它有足够
的
插槽。在我们
的
flink
工作中,我们从3个不同
的
kafka
集群中使用3个
kafka
主题,
每个
主题有10个
分区
。如果我们将并行性设置为10,那么就会使用10个槽,这意味着,根据我
的
理解,10个线程对吗?如果这10个线程“连接”到topic_1,那么就没有线程读取topic_2和topic_3。如果我们将并行性设置为30,那么就有30个线程,但这30
浏览 0
提问于2019-03-13
得票数 12
回答已采纳
1
回答
Flink
Kafka
生产者在发布
键
流时抛出异常。
apache-flink
我认为这里
的
问题是,我使用
键
来确定输出
分区
,这导致P接收器子任务对
每个
扇出写入N个输出
分区
。理想情况下,
每个
子任务只会写入单个
分区
。作业具有下列约束/属性:2:接收器子任务并行性最初将等于输出
分区
的
数量。3:我将来应该能够在不违反#1
的</
浏览 2
提问于2019-10-10
得票数 1
1
回答
利用输入
分区
来避免任务管理器之间
的
通信。
apache-flink
、
apache-beam
、
flink-streaming
我们有一个
Flink
管道,通过将数据与相同
的
键
("client-id")结合在同一个窗口中,聚合
每个
“客户端”
的
数据。这个问题是微不足道
的
并行性
的
,并且输入
Kafka
主题有几个
分区
(与
Flink
并行性相同
的
数字)--
每个
分区
都包含一个客户端
的
子集。也就是说,一个客户端总是在一个特定
的
Kafka</em
浏览 5
提问于2021-11-05
得票数 0
回答已采纳
1
回答
Apache将流划分为输入
Kafka
主题相同
apache-kafka
、
parallel-processing
、
apache-flink
、
partitioning
、
kafka-topic
我想在Apache中实现以下场景:考虑到有4个
分区
的
Kafka
主题,我想使用不同
的
逻辑在
Flink
中独立地处理
分区
内
的
数据,这取决于事件
的
类型。特别是,假设输入
的
Kafka
主题包含前面图像中描述
的
事件。
每个
事件都有不同
的
结构:
分区
1
的
字段"a“作为
键
,
分区
2
的</
浏览 2
提问于2020-10-03
得票数 2
回答已采纳
1
回答
kafka
作为
flink
- partitioning
的
消息分派器
java
、
apache-kafka
、
apache-flink
我有一个进程,需要将某些数据分派到由3个节点组成
的
flink
集群(通过
kafka
)。据我所知,总共会有两个不同
的
主题。
所有
的消息都会有时间戳。消息顺序必须保持不变。我不能理解消息
分区
(
键
)背后
的
机制。如果我希望拥有如上所述
的
简单消息分派器,消息
分区
重要吗?如果是这样,我应该根据什么来选择它?
浏览 1
提问于2018-09-10
得票数 0
1
回答
在阅读卡夫卡时使用KeyBy vs reinterpretAsKeyedStream()
apache-flink
、
flink-streaming
我有一个简单
的
Flink
流处理应用程序(
Flink
版本1.13)。
Flink
应用程序从Kakfa读取,对记录进行有状态处理,然后将结果写回
Kafka
。在阅读了卡夫卡主题之后,我选择使用reinterpretAsKeyedStream()而不是keyBy()来避免混乱,因为这些记录已经在Kakfa中
分区
了。在Kakfa中用于
分区
的
键
是记录
的
字符串字段(使用默认
的
kafka
分区
浏览 35
提问于2022-06-15
得票数 0
3
回答
用于消息处理
的
多个节点
concurrency
、
apache-kafka
、
apache-flink
、
spring-kafka
、
high-availability
我们在Kubernetes上部署了一个spring引导应用程序来处理消息:它从
Kafka
主题中读取,然后执行一些映射,最后,它写到
Kafka
主题。为了获得更高
的
性能,我们需要更快地处理消息,因此我们引入了这个春季引导应用程序
的
多个节点。 请自
浏览 6
提问于2020-04-24
得票数 0
1
回答
如何
使用带有特定
分区
的
Apache
Flink
将数据作为
键
/值发送到
Kafka
apache-kafka
、
apache-flink
、
flink-streaming
我在
Flink
中有一个负载,如下所示; { "total": 5 } 我想通过指定
的
分区
将数据以key-value格式发送给
kafka
。对于
分区
程序,我将使用Modulo
分区
程序。 模数分割器
的
一个例子 partitionId = value % numPartitions 假设numPartitions参数是3。如果我们可以使用上面定义
的
有效负载
的
m
浏览 23
提问于2021-04-11
得票数 0
回答已采纳
1
回答
Flink
读到
Kafka
,在某些情况下,消费速度急剧下降。
java
、
apache-kafka
、
apache-flink
我们有一个
Flink
作业(
Flink
版本: 1.9),它通过
键
连接两个
kafka
源,对于
每个
键
,启动一个5分钟
的
定时器,消息被缓存在
Flink
状态,当定时器结束时,将具有相同
键
的
消息合并到一个胖消息中(通常
每个
键
有1~5条消息)并将其发送给
kafka
。 source1 (160个
分区
,每分钟
浏览 1
提问于2021-06-04
得票数 0
回答已采纳
1
回答
事件处理在
Flink
和恢复中
的
顺序
apache-flink
、
flink-streaming
、
flink-cep
我已经研究
Flink
一个多星期了。我们正在消费来自
Kafka
的
事件,我们希望事件属于特定
的
对象,id需要按照事件时间
的
顺序进行处理。检查点机制是否知道未被处理
的
事件,它将
如何
请求
Kafka
有关这些事件?在CallCenter中,代理将接收呼叫并进入不同
的
状态。我们需要在处理这些问题
的
同时,扩大规模。 在具有并行进程
的
Flink
集群中,我们不应该在代理状态不好<e
浏览 1
提问于2018-11-26
得票数 1
回答已采纳
3
回答
使用
Flink
-
Kafka
连接器均匀地消耗事件
apache-flink
、
flink-streaming
我正在使用
Flink
来处理
Kafka
的
流数据。流程是非常基本
的
,从
Kafka
消耗,数据丰富,然后沉到FS。偶尔,在一些
Kafka
分区
中会出现延迟。重新启动应用程序可以帮助
Flink
“重新平衡”消费和延迟。然而,过了一段时间,我看到了
浏览 4
提问于2020-06-16
得票数 2
回答已采纳
1
回答
如何
在
flink
作业之间共享状态?
apache-flink
、
flink-streaming
、
flink-cep
我从我
的
.jar文件运行多个作业。我想在我
的
工作之间共享状态。但是
所有
输入在
每个
作业中都会消耗(来自
kafka
),并生成重复
的
输出。我看到了
flink
面板。
所有
的工作‘记录发送’是3。我想必须拆分数字到我
的
工作。 我使用此命令创建作业 bin/
flink
run app.jar 我怎么才能修复它?
浏览 46
提问于2019-09-29
得票数 0
回答已采纳
1
回答
使用Apache Spark/Apache
Flink
进行缩放
apache-spark
、
apache-kafka
、
apache-flink
我计划了一个从Apache读取
的
应用程序,经过(可能耗时
的
)处理后,将数据保存到数据库中。我
的
例子是消息,而不是流,但为了可伸缩性,我正在考虑将其插入Spark或
Flink
,但无法理解这些扩展:我
的
应用程序,当Spark/
Flink
的
一部分读取了
Kafka
的
一些数据,然后退出或继续阅读吗?那么,Spark/
Flink
将
如何
决定他们必须生成更多
的
我
的</e
浏览 4
提问于2017-09-20
得票数 0
回答已采纳
1
回答
集群中
的
Apache流不会将作业与工人分开。
streaming
、
cluster-computing
、
apache-kafka
、
apache-flink
我
的
目标是建立一个高吞吐量集群,使用
Kafka
作为源,使用
Flink
作为流处理引擎。这就是我所做
的
。<WORKER_IP_ADDR>两个节点上
的
flink
设置位于同名文件夹中。中
的
Flink
依赖项。>org.apache.
flink
</groupId> <artifactId>
浏览 7
提问于2015-08-28
得票数 9
回答已采纳
2
回答
Flink
kafka
-
Flink
作业不向不同
分区
发送消息
apache-kafka
、
apache-flink
、
kafka-producer-api
我
的
配置如下: speStream.addSink(new FlinkKafkaProducer011(kafkaTopicName,new 场景1: 我在eclipse上写了一个
flink
作业(生产者),它从文件夹中读取一个文件,并将msgs放在
kafka</e
浏览 0
提问于2018-08-29
得票数 2
回答已采纳
2
回答
flink
kafka
消费者groupId不起作用
apache-kafka
、
apache-flink
我认为这应该是这样
的
:如果向
Kafka
发送2条消息,那么
flink
程序中
的
每条或一条将处理这2条消息完全两次(假设总共有2行输出)。我试图使用两个卡夫卡消费者在相同
的
主要功能
的
flink
程序。共处理4条信息。我还试着运行两个
flink
浏览 10
提问于2016-07-28
得票数 6
回答已采纳
1
回答
同一
Kafka
主题
的
多个
Flink
管道
apache-kafka
、
apache-flink
背景时不时地,我们
的
Flink
不能处理突发信息。如果我们使用常规
的
Kafka
用户,那么就像添加一个用户一样简单(假设我们有足够
的
Kafka
分区
),并且
Kafka
将在
所有
用户之间重新分配主题
分区
。
Flink
<
浏览 27
提问于2019-11-14
得票数 1
1
回答
Flink
中具有并行性
的
多个
kafka
主题
apache-flink
、
kafka-consumer-api
卡夫卡
分区
的
数目固定为15,所以当我通过改变
Flink
中
的
并行数来测试它时,15是理想
的
情况,它等于
kafka
分区
的
数目。在这种情况下,
kafka
集群有30个
分区
,所
浏览 6
提问于2022-09-02
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
不惧流量持续上涨,BIGO 借助 Flink 与 Pulsar 打造实时消息系统
Flink高级应用模式第二辑:应用模式的动态更新
Flink+ 数据湖 Iceberg 的体验
Flink EventTime 和 Watermark
Spark Streaming和Flink 谁是数据开发者的最爱?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券