腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Reactor
Kafka
中
基于
分区
排序
的
并发
处理
java
、
apache-kafka
、
reactive-programming
、
project-reactor
、
reactor-kafka
我正在开发一个示例应用程序,它将从
Kafka
主题
的
不同
分区
读取数据,同时
处理
基于
分区
排序
的
记录,并将记录写入另一个主题
的
不同
分区
。这是我写
的
示例代码 public class MetricsTransposer { private static final String BOOTSTRAP_SERVERS = "localhost我确实有要在主题中使用
的
数
浏览 31
提问于2021-07-31
得票数 0
回答已采纳
1
回答
如何用一个
分区
为
Kafka
主题创建
并发
消息侦听器
apache-kafka
、
kafka-consumer-api
、
spring-kafka
使用Spring org.springframework.
kafka
.listener.ConcurrentMessageListenerContainer可以
基于
ContainerProperties和主题中
的
分区
数创建多个侦听器。说“来自同一
分区
的
消息将按顺序
处理
”。所以,如果只有一个
分区
,而
并发
性设置为: 10,会发生什么--不会出现任何
并发
性?还是将消息分发给10个侦听器,但不正常?
浏览 4
提问于2017-11-21
得票数 1
回答已采纳
1
回答
如何按顺序从Apache Spark发送消息到
Kafka
主题
hadoop
、
apache-spark
、
apache-kafka
、
spark-dataframe
、
kafka-producer-api
我有一个关于传感器
的
事件信息连续插入到MySQL
中
的
用例。我们需要每隔1到2分钟在
Kafka
主题中发送这些信息并进行一些
处理
。我使用Spark将此信息发送到
Kafka
topic,并在Phoenix表
中
维护CDC。我使用Cron作业每1分钟运行一次spark作业。我目前面临
的
问题是消息
排序
,我需要以升序时间戳发送这些消息,以结束系统
Kafka
主题(有一个
分区
)。但是,由于多个spark DataFr
浏览 10
提问于2017-08-30
得票数 0
2
回答
如何通过自动确认
并发
处理
Reactor
Kafka
Streams by Topic和Partition?
apache-kafka
、
rx-java
、
reactive-programming
、
kafka-consumer-api
、
project-reactor
我正在尝试使用带自动确认
的
Reactor
Kafka
来实现对
Kafka
主题
分区
的
并发
处理
。这里
的
文档让这看起来像是可能
的
: }当我使用它通过一个并行调度器(Schedulers.newParallel("de
浏览 1
提问于2017-06-16
得票数 2
2
回答
Kafka
流
并发
?
apache-kafka
、
apache-kafka-streams
我有一些基本
的
Kafka
流代码,可以从一个主题读取记录,进行一些
处理
,并将记录输出到另一个主题。如果它是单线程
的
,我希望选择多线程
处理
来
处理
大量数据。 如果它是多线程
的
,我需要了解它是如何工作
的
,以及如何
处理
资源,比如S
浏览 1
提问于2016-10-12
得票数 27
回答已采纳
1
回答
发送批量消息后是否应该关闭KafkaSender?
apache-kafka
、
reactor-kafka
应用程序是一个长期运行
的
消息接收器,应用程序接收上游消息,并将消息转换为小消息,然后将这些小消息放入
Kafka
中
。我发现反应堆
的
文件卡夫卡说:
Reactor
Kafka
Guide 当不再需要KafkaSender时,可以关闭KafkaSender实例。关闭底层KafkaProducer,关闭所有客户端连接并释放生产者使用
的
所有内存。 我
的
问题是: 是否需要在每次发送完一批消息后关闭KafkaSender?是否在应用程序中使用KafkaSender<
浏览 28
提问于2021-05-04
得票数 0
1
回答
storm-
kafka
-示例应用程序或维护
kafka
分区
级别
排序
的
storm拓扑
的
git链接?
apache-kafka
、
apache-storm
、
hadoop2
我知道,storm不保证
kafka
主题
的
总
排序
保证,但在许多文档
中
,storm保证消费/
处理
在
分区
级别保持顺序
的
消息。我正在寻找一个示例storm拓扑,它消耗/
处理
kafka
主题
的
消息,在
kafka
分区
级别维护消息
的
顺序。不是总订单!!只有
分区
级别的
排序
保证。 如果您知道任何示例应用程序,请与我们分享。非常感
浏览 3
提问于2016-05-27
得票数 1
6
回答
具有多个
分区
的
Apache
Kafka
消息顺序
apache-kafka
根据Apache
Kafka
文档,消息
的
顺序可以在
分区
内实现,也可以在主题中
的
一个
分区
内实现。在这种情况下,我们得到
的
并行性好处是什么,它等同于传统
的
MQs,不是吗?
浏览 11
提问于2015-04-23
得票数 62
1
回答
卡夫卡流: NUM_STREAM_THREADS_CONFIG >1是否破坏
分区
的
总顺序?
apache-kafka
、
apache-kafka-streams
这里我们要说
的
是:我得到了非常复杂
的
各种联接、聚合、过滤器、映射等拓扑结构。通过删除NUM_STREAM_THREADS_CONFIG参数等于1,这在定义上是完全确定性
的
--因此,
分区
的
全序(由
Kafka
本身保证)保持不变。取决于特殊
的
拓扑结构吗?我已经检查了文档并浏览了线程模型部分,但是没有找到答案。
浏览 2
提问于2020-06-03
得票数 1
回答已采纳
1
回答
如何在Spring
中
并发
使用多台服务器
spring
、
spring-boot
、
apache-kafka
、
spring-jms
、
spring-kafka
我必须使用
kafka
作为队列,但希望使用多个服务器进行
并发
处理
,并且不应该接收副本。例如, P1和P2将数据发送到消息
分区
P。C1、C2和C3正在监听
分区
P,以便保持顺序。在这种情况下,只有一个节点处于活动状态,这是一项耗时
的
工作,因此我们会遇到瓶颈。因为我们希望维持顺序,所以我们不想使用多个
分区
。我目前拥有的选项是将长时间运行
的
作业转换为异步,这样它就可以完成最小
的
任务,并将rest留给异步。这在我们
的
用例
浏览 2
提问于2017-05-23
得票数 0
回答已采纳
1
回答
了解与
Kafka
集成
的
一些概念和Hazelcast Jet
hazelcast
、
hazelcast-jet
Q1 -在Spark
中
,每个
Kafka
分区
将成为spark
中
的
一个
分区
,然后它们将由单个任务并行
处理
。我想我在某处读到过Hazelcast Jet将合并来自
kafka
的
所有消息,而不考虑group.id和主题
分区
,对吗?Q2 -我们如何在Jet程序
中
增加“消费者”
的
数量,以增加来自
kafka
的
吞吐量消耗?在Spark
中
,我想我们
浏览 0
提问于2018-01-23
得票数 2
2
回答
Kafka
生产者和消费者延迟
java
、
spring
、
apache-kafka
、
kafka-consumer-api
、
lag
我
的
kafka
生产者将在一秒内推送3条消息,我
的
消费者将消费,每条消息
的
数据
处理
时间为3秒。 所以在1分钟内生产者将产生180条消息,但是我
的
消费者在1分钟内只消费了20条消息。
浏览 8
提问于2021-07-13
得票数 0
2
回答
当生产者
的
数量超过
分区
数时,
Kafka
默认
的
分区
行为
apache-kafka
、
kafka-partition
来自 消费者如何知道生产者写信给哪个
分区
,从而可以直接从该
分区
消费?如果生产者多于
分区
,而multipe生
浏览 1
提问于2021-07-28
得票数 0
1
回答
火花流卡夫卡接收器API - numPartitions
scala
、
apache-kafka
、
spark-streaming
我们无法通过增加numPartitions来增加消耗事件
的
数量。增加numPartitions似乎不影响性能。KafkaUtils.createStream方法有一个topic_name到numPartitions映射,而每个
分区
应该在自己
的
线程中使用。topic -> 1),我希望使用scala.collection.immutable.Map(主题-> 10)会比使用一个线程时提取更多
的
事件这是0-8版
的
问题吗?增加numP
浏览 4
提问于2017-12-26
得票数 0
2
回答
对于有依赖关系
的
消息,
Kafka
是正确
的
解决方案吗?
java
、
spring
、
apache-kafka
、
kafka-consumer-api
我们有dependent.Ex格式
的
消息。假设我们有4个消息M1,M2,M1_update1,(应该只在M1
处理
之后
处理
),M3 (应该只在M1,M2
处理
之后
处理
)。在这个例子
中
,只有M1和M2可以并行
处理
,其他
的
必须是顺序
的
。我知道
Kafka
topic
的
一个
分区
中
的
消息是按顺序
处理
的
。但是,我如何知道M1、
浏览 0
提问于2018-10-17
得票数 2
2
回答
如何并行发送/
处理
到
kafka
主题/
分区
?
apache-kafka
、
flume
、
kafka-producer-api
我有一个冲槽代理(1个源,1个通道,1个接收器),从特定
的
目录(Spooldir)读取数据
并发
送到
Kafka
Sink。根据我
的
观察,它只是写入特定
的
分区
。启用并行发送/
处理
到
kafka
主题/
分区
的
配置是什么?
浏览 1
提问于2017-05-02
得票数 0
1
回答
Spring
Kafka
单个主题多个消费者消费不同消息
java
、
spring-boot
、
apache-kafka
、
spring-kafka
在我
的
Spring Boot
Kafka
应用程序
中
,我有以下使用者配置:public ConsumerFactory<String, Post> postConsumerFactory(KafkaPropertiesfactory.setConsumerFactory(postConsumerFactory(kafkaProperties)); }@KafkaListener(topics = "${
kafka
.topic.post
浏览 2
提问于2018-08-02
得票数 4
回答已采纳
2
回答
NIFI +
Kafka
系列事件
处理
分区
事件
apache-nifi
上下文:--我们
的
许多NiFi流
的
工作方式如下:其他信息: 假设我们在步骤1
中
使用事件
的
主题是具有来自
分区
内
的
10 partitionsEvents
的
主题-1,则应该对其进行串行
处理
,以防止无序事件
处理
浏览 2
提问于2021-05-03
得票数 0
1
回答
将星火DataFrame写入
Kafka
是忽略了
分区
列和
kafka
.partitioner.class
apache-spark
、
apache-kafka
、
apache-spark-sql
、
spark-structured-streaming
、
spark-kafka-integration
我正在尝试为
Kafka
编写一个Spark (批
处理
DF),我需要将数据写入特定
的
分区
。我尝试了以下代码 .format("
kafka
") .save()+---+---------+-----+ |key|partition
浏览 1
提问于2021-01-27
得票数 1
回答已采纳
1
回答
如何确定春季卡夫卡
的
并发
性?
apache-kafka
、
kafka-consumer-api
、
spring-kafka
我正在使用@KafkaListener注释编写一个
kafka
消费者,我知道有一种方法可以使用ConcurrentKafkaListenerContainerFactory
中
的
一种方法增加来自不同
分区
的
并发
卡夫卡消费者
的
数量e.g. factory.setConcurrency(3); 运行
的
最大
并发
KafkaMessageListenerContainer数。
浏览 3
提问于2020-02-01
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Fabric共识机制-Kafka集群的排序实现
撸源码,理流程,看清fabric中的Kafka到底算不算一种共识算法?
Kafka 客户端是如何找到 leader 分区的
Flink+ 数据湖 Iceberg 的体验
10分钟带你玩转Kafka基于Controller的领导选举!
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券