腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
可以
根据
负载
在运
行时
用
kafka
发送
不同
主题
的
消息
吗
?
java
、
spring-boot
、
apache-kafka
、
spring-kafka
我有5个已定义
的
主题
,我
的
具体问题是在代码中有没有办法知道一个
kafka
主题
是免费
的
还是仍然是满
的
,以便能够平衡
主题
之间
的
负载
在producer中,我必须执行.send(Topic1, object)函数,但是如果我要向其
发送
信息
的
主题
很忙,或者已经必须加载,我如何才能知道通过条件函数将该函数更改为.send(Topic2, object) 我不知道这是否<em
浏览 14
提问于2021-11-11
得票数 0
1
回答
卡夫卡流是否适合触发记录
的
批处理?
java
、
apache-kafka
、
microservices
、
batch-processing
、
apache-kafka-streams
这个最终
的
有效载荷将被
发送
到另一个
Kafka
主题
,这样它就
可以
被另一个服务所消耗。 下面你
可以
找到一个图表,它能更好地解释手头
的
问题。信息聚合器服务接收到聚合信息
的
请求,它将该请求
发送
到
Kafka
主题
,以便服务1、服务2和服务3使用该请求并将它们
的
数据(JSON有效
负载
)
发送
到3个
不同
的
Kafka</e
浏览 3
提问于2021-12-20
得票数 2
回答已采纳
2
回答
根据
负载
将
消息
路由到
不同
的
Kafka
主题
apache-kafka
、
apache-kafka-connect
我
的
应用程序从IBM MQ获取
消息
,并
根据
内容将其路由到
不同
的
Kafka
主题
。
Kafka
MQ源连接器
可以
将事件从MQ带到1个
kafka
主题
,我们
可以
在
Kafka
MQ连接器内进行基于
消息
的
路由
吗
? 或者我们是否必须编写一个KStream应用程序来
根据
内容有效
负载
进行路由
浏览 0
提问于2019-08-08
得票数 0
1
回答
我们需要事先知道一个
主题
的
分区数
吗
?
apache-kafka
、
kafka-topic
、
kafka-partition
我们希望将
不同
客户
的
消息
/记录放在
kafka
主题
的
不同
分区上。 但是顾客
的
数量在以前是不清楚
的
。那么,在这种情况下,我们如何为
kafka
主题
设置分区计数呢?我们是否需要
根据
键
在运
行时
更改分区计数
的
其他方式(本例中为customer_id)。提前谢谢。
浏览 5
提问于2022-10-18
得票数 1
回答已采纳
1
回答
如何跟踪多个
主题
的
Kafka
消息
的
生命周期?
apache-kafka
我有一个场景,其中有多个组件,多个
主题
,其中
消息
被生成、处理和使用。最后还有一个组件,它使用来自多个
主题
的
消息
。我们如何使用时间戳跟踪
消息
的
生命周期,即
消息
的
诞生、结束(这些
消息
经过了哪些组件)。
Kafka
有没有内置
的
机制,我们
可以
用
唯一
的
id,时间戳或其他东西来跟踪?我们需要在每个特定组件中编写逻辑,并在有效
负载</e
浏览 18
提问于2021-08-02
得票数 0
3
回答
如何使用
Kafka
流DSL函数处理重复
消息
apache-kafka-streams
我
的
要求是使用
kafka
流DSL跳过或避免从输入
主题
接收
的
重复
消息
(具有相同
的
密钥)。源系统->输入
主题
->
Kafka
流->输出
主题
目前,我正在使用flatMap来生成多个有效
负载
密钥,但是flatMap是无状态
的
,因此在接收到输入
主题</
浏览 1
提问于2019-04-23
得票数 1
回答已采纳
2
回答
kafka
连接转换顺序保证
apache-kafka
、
apache-kafka-connect
作为键
的
字段需要从(XML)有效
负载
中检索到连接器流中
的
Kafka
主题
。 我们正在处理金融交易,需要保证信息
的
顺序。我们有很高
的
吞吐量,据我所知,配置tasks.max允许通过在之间分配任务来实现并行性。选择tasks.max >1,传入
的
消息
分布在正
在运
行
的</em
浏览 6
提问于2020-02-19
得票数 1
1
回答
阅读单个
kafka
主题
并插入多个甲骨文表
apache-kafka
、
apache-kafka-connect
我使用
kafka
使用mongo源连接器将多个集合数据
发送
到一个
主题
中,并使用jbc接收器连接器将数据插入到
不同
的
oracle表中。在mongo源连接器中,我们为所有记录附加相应
的
集合名称,以便
根据
集合名称在接收器端处理信息。 使用jdbc接收器连接器
可以
吗
?我们是否
可以
通过节点. .js/ spring作为使用者应用程序来实现这一点,从而拆分
主题
消息
并将其写入
不同
浏览 2
提问于2022-04-04
得票数 0
1
回答
Spring data Cassandra
可以
使用动态模型和键位
吗
spring
、
spring-boot
、
spring-data-jpa
、
spring-data
、
spring-data-cassandra
我需要构建一个从
Kafka
获取数据
的
应用程序,将数据持久化到一些数据库中,并将转换后
的
数据
发送
到另一个
Kafka
主题
。 在我
的
例子中,我需要解析从
Kafka
收到
的
消息
。数据将来自
不同
的
设备和馈送,因此它们将具有
不同
的
模式。因此,我需要能够
在运
行时
使用
消息
元数据创建键空间,并使用
在运</
浏览 2
提问于2019-11-14
得票数 2
1
回答
有效载荷上
的
春云流路由
apache-kafka
、
spring-cloud-stream
、
spring-cloud-stream-binder-kafka
我想使用spring云流作为我
的
微服务来处理
kafka
的
事件。如何
根据
有效
负载
中
的
属性将传入
的</e
浏览 1
提问于2022-01-11
得票数 0
回答已采纳
2
回答
我
可以
使用线程将mensagem
发送
到唯一
的
kafka
主题
吗
?如果是,是如何实现
的
?
java
、
apache-kafka
我
可以
在
kafka
中使用线程向单个
主题
发送
消息
吗
?我开发了一个
kafka
生产者在春季启动
发送
消息
到一个
kafka
主题
,我需要知道是否有可能创建多个线程
发送
多个
消息
到一个
主题
。例如:在一个生产者中创建三个线程,同时将三个
不同
的
消息
从每个线程
发送
到单个
kafka
浏览 1
提问于2019-04-04
得票数 2
1
回答
Kafka
主题
的
消费者监控数量
java
、
apache-kafka
、
grafana
、
apache-kafka-streams
、
prometheus
我们使用Prometheus和Grafana来监控我们
的
Kafka
集群。我们没有看到任何能够给出每个
主题
的
活跃消费者数量<
浏览 16
提问于2018-07-20
得票数 2
回答已采纳
1
回答
Apache Beam KafkaIO生产者将
不同
的
消息
路由到
不同
的
主题
apache-kafka
、
apache-beam
、
apache-beam-io
、
apache-beam-kafkaio
我有一个
用
例,其中传入
的
数据有一个键来标识
不同
类型
的
数据。有一个单一
的
输入
kafka
主题
,所有类型
的
数据都被抛到它上面。beam管道读取来自输入
kafka
主题
的
所有
消息
,并且必须
根据
密钥路由到
不同
的
kafka
主题
。 目前,KafkaIO不支持使用单个生产者写入多个
主题
。以下代
浏览 15
提问于2020-05-21
得票数 0
回答已采纳
2
回答
按键划分
Kafka
消息
apache-kafka
、
kafka-producer-api
我们有一个业务流程/工作流,它在接收初始事件
消息
时启动,在处理最后一条
消息
时关闭。我们每天有多达10万个进程被执行。我
的
问题是,接收到特定进程
的
消息
的
顺序必须由相同
的
顺序
消息
处理。如果其中一条
消息
失败,则进程必须冻结,直到问题得到解决,尽管所有其他进程都必须继续。在这种情况下,我正在考虑使用卡夫卡。我想到
的
第一个解决方案是通过
消息
键使用
主题
分区。
消息
<e
浏览 0
提问于2019-04-19
得票数 2
2
回答
Kafka
自动分区
apache-kafka
是否有计划实现
主题
自动分区,以便从公共api中删除分区逻辑?我觉得
Kafka
集群应该有一个动态分区,动态调整用户
消息
速率,并将单独
的
记录存储在一个或n个物理文件和机器中,以最大化吞吐量和延迟。我发现为一个
主题
创建n个分区相当于有n个
主题
浏览 32
提问于2019-12-18
得票数 1
2
回答
微服务
的
混合通信方法
apache-kafka
、
architecture
、
microservices
我
的
问题:对于一个案例,我想从主节点发布一个事件(生成一个
主题
的
消息
),并从所有工作节点获取该事件(从
主题
消费)。但是对于另一种情况,我需要向特定
的
工作节点
发送
消息
。为了能够涵盖第一种情况,我
的
所有工作节点在
kafka
中都有
不同
的
组ids,当一条
消息
发布在一个
主题
上时,它们都会收到该
消息
。我知道我不能用
kafka</em
浏览 1
提问于2019-09-06
得票数 0
1
回答
作为聊天室标识符
的
Kafka
主题
apache-kafka
、
kafka-topic
我对一个
消息
聊天应用程序感兴趣,在那里
可以
有
不同
的
聊天室。我试着从卡夫卡
的
概念角度来理解卡夫卡
主题
是否
可以
作为聊天室
的
标识符?由于聊天室通常是
在运
行时
创建
的
,这意味着 一旦创建了新
主题
(聊天室),用户就应该能够订阅它们。有可能
吗</e
浏览 4
提问于2022-06-23
得票数 0
1
回答
中断行为-在使用新数据之前耗尽全部缓冲区
java
、
asynchronous
、
apache-kafka
、
disruptor-pattern
、
lmax
我们在K8s
的
云中对我们
的
应用程序进行了
负载
测试。我们
的
入站
消息
是通过
Kafka
发送
的
,我们正在给
Kafka
回信。我们
的
架构是这样
的
:
Kafka
线程将
消息
推送到disruptor (阻塞等待策略,512大小),业务线程将
消息
从disruptor中取出进行处理。为了模拟
负载
,我们在
Kafka
主题</em
浏览 35
提问于2020-07-21
得票数 0
1
回答
关于向卡夫卡
主题
发送
信息
的
TimeoutException
apache-kafka
、
kafka-producer-api
我在制作卡夫卡
主题
的
信息时遇到了问题。当向
Kafka
主题
发出几条
消息
时,它会断断续续地失败,只有一个例外: 某些
主题
的
org.apache.
kafka
.common.errors.TimeoutException:到期6记录-1: 30056实际上,我
的
问题是:在调用send()方法和实际
发送
之间有什么东西
可以
阻止
发送
卡夫卡
消息
进程30秒?我正在寻找任何东西,<
浏览 1
提问于2019-05-27
得票数 2
1
回答
Kafka
集群如何处理单次请求?
apache-kafka
假设我有一个包含1000个节点
的
Kafka
集群。假设某个生产者向某个
主题
发送
了一条
消息
,集群中第一个接收该
消息
的
节点是什么?
Kafka
集群内部有
负载
均衡
吗
?假设此节点没有应将
消息
推送到
的
主导分区,它是否
可以
将
消息
转发到包含此分区
的
代理?
浏览 17
提问于2021-08-14
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka与RabbitMQ千万不要乱用…
CDP中的Kafka概览
公共安全领域 Kafka 应用实践
Kafka是如何处理Netflix每天2万亿条消息的?
开源软件成熟度评测报告-分布式消息中间件
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
活动推荐
运营活动
广告
关闭
领券