腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
确定
Kafka
主题
的
优先级
apache-kafka
、
kafka-consumer-api
、
spring-kafka
我需要从topic1读取完整
的
消息,然后从topic2读取消息。我将收到这些
主题
的
信息每天一次。在读取topic1中
的
所有消息之前,我设法停止了从topic2读取消息,但这种情况只在服务器启动时发生一次。有人能帮我解决这个问题吗。ListenerConfig代码 @EnableKafkapublic class ListenerConfig { @Value("${spring.
kafka
.bootstrap-servers
浏览 38
提问于2020-04-28
得票数 1
回答已采纳
1
回答
Logstash和
Kafka
中
的
优先消息
elasticsearch
、
logstash
、
apache-kafka
、
producer-consumer
我们将从logstash向
kafka
提供来自不同来源
的
不同日志。将会有一些特定
的
集合(或某种格式)消息,
kafka
的
消费者会比其他消息更感兴趣。我们如何
确定
消息
的
优先级
?一种想法是在
kafka
中创建两个
主题
- 1) high_priority_topic 2) low_priority_topic,然后使用logstash中
的
filter将感兴趣
的
消息推送到high_priorit
浏览 0
提问于2016-07-08
得票数 1
1
回答
如何在不损失抵消
的
情况下将消费者从消费者群体中分离出来?
apache-kafka
、
logstash
我有一个logstash
kafka
消费小组订阅了将近20个
主题
,但是对于一个特别高
优先级
的
kafka
主题
来说,它
的
处理效果并不好,所以我决定从消费者组中删除一个
主题
,并为高
优先级
的
主题
创建一个单独
的
消费组,但不幸
的
是,我失去了旧消费者组中
的
抵消项。不管怎么说,我是否可以开始新
的
logstash消费者组与上一个消费者组
的
浏览 0
提问于2019-02-17
得票数 0
回答已采纳
1
回答
Springboot KafkaListener侦听多个
主题
spring-boot
、
apache-kafka
、
kafka-consumer-api
、
spring-kafka
我正在尝试构建一个
kafka
服务,其中有两个
主题
和一个消费者。每个
主题
都有10个分区。目前,我有一个设置,消费者可以同时收听这两个
主题
。 我希望将处理
优先级
设置为基于。我希望
主题
1中
的
事件比
主题
2中
的
事件具有更高
的
优先级
。 所以我们
的
目标是,只有在
主题
1中没有事件
的
情况下才处理
主题
2中
的
事件。我一直在尝试Con
浏览 60
提问于2020-09-12
得票数 0
1
回答
在ApacheKafka2.0中是否有一种优先处理消息
的
方法?
apache-kafka
、
priority-queue
、
apache-kafka-streams
编辑 如果其他人在这种特殊
的
情况下,我得到了类似于我在调整消费者配置后寻找
的
东西。我创建了一个生产者,它将
优先级
消息发送到三个不同
的
主题
(针对高/高/低
优先级
),然后我创建了三个独立
的
消费者来消费。然后,我频繁地对
优先级
较高
的
主题
进行调查,除非高
优先级
的
主题
是空
的
,否则不会对较低
的
优先级
进行
浏览 0
提问于2019-03-27
得票数 5
1
回答
Kafka
消费者将阅读多个
主题
apache-kafka
、
kafka-consumer-api
我正在创建两个
主题
,并从两个生产者发布这两个
主题
。我有一个使用者,它使用来自这两个
主题
的
消息。这是因为我想根据
优先级
进行处理。我从两个
主题
都得到了一个流,但只要我开始迭代任何流
的
ConsumerItreator,它就会阻塞在那里。因为它是在文档中编写
的
,所以它将被阻止,直到它获得新
的
消息。有没有人知道如何从一个
Kafka
消费者
的
两个
主题
和两个流中阅读?
浏览 2
提问于2015-06-10
得票数 0
4
回答
卡夫卡PointToPoint
java
、
jms
、
apache-kafka
问题可能
的
解决方案需求 信息优先事项(我知道卡夫卡并没有提供现成
的
信息,但我们这边有一个解决办法)
浏览 5
提问于2013-07-10
得票数 2
6
回答
卡夫卡是否支持
主题
或信息
的
优先权?
apache-kafka
似乎不支持任何这样
的
事情。我搜索并找到了这个邮件存档,它也支持这一点: 这里是否有人用卡夫卡来优先处理任何话题或信息?
浏览 3
提问于2015-06-04
得票数 27
回答已采纳
1
回答
Kafka
streams协同分区与交互式查询
apache-kafka
、
apache-kafka-streams
、
partitioning
这里有两个源
主题
。状态存储是从第一个
主题
构建
的
,第二个流读取状态存储。当我启动拓扑时,我看到这些流线程被分配了两个源
主题
的
相同分区(共同分区)。我假设这是因为状态存储被第二个
主题
流访问。对我来说,第二个
主题
应该尽可能快地处理。处理第一个
主题
的
延迟是可以
的
。
浏览 5
提问于2020-10-05
得票数 0
2
回答
当KafkaListener监听多个
主题
时,您能优先考虑单个
主题
吗?
java
、
spring
、
apache-kafka
、
listener
、
spring-kafka
有人知道当我
的
@KafkaListener监听多个
主题
时,如何为单个
kafka
主题
赋予
优先级
吗?下面是我
的
代码示例: public synch
浏览 0
提问于2021-02-25
得票数 0
1
回答
KSQL流未从
主题
中获取输出
confluent-platform
、
ksqldb
我已经将
kafka
连接到mysql。该
主题
包含AVRO格式
的
数据。现在,我想将该数据转换为CSV格式。为此,我使用了KSQL流。当我像这样创建流时(如果我用相同
的
主题
运行消费者命令遵循步骤 请帮助解决从AVRO到CSV
的
转换以及创建
的
流有什么问题
浏览 1
提问于2019-04-23
得票数 1
1
回答
使用
Kafka
使用Spark结构化批处理作业管理偏移
apache-spark
、
apache-kafka
、
apache-spark-sql
、
spark-structured-streaming
我有一个编写批处理作业
的
用例 我需要阅读
Kafka
主题
,并将数据记录到HDFS。我
的
代码如下所示 val df: DataFrame = spark.read .option("subscribe", "test-topic") .optionparquet(buildPathWithCurrentBatchTime()) 每次作业读取
Kafka
主题
时,它都会从最早
浏览 17
提问于2019-02-05
得票数 0
回答已采纳
1
回答
如何理解哪些分区副本
kafka
broker已经崩溃
apache-kafka
、
apache-zookeeper
、
yahoo-kafka-manager
有22个副本、50个分区和22个运行
Kafka
代理
的
主题
。目前,我查看分区副本中缺少哪个代理id。
浏览 5
提问于2020-10-25
得票数 2
1
回答
卡夫卡连接器从一个
主题
中读取并写入一个
主题
apache-kafka
、
grpc
、
apache-kafka-streams
、
apache-kafka-connect
我想构建一个
Kafka
连接器,它需要读取
Kafka
主题
并调用GRPC服务来获取一些数据并将整个数据写入另一个
kafka
主题
。我编写了一个
Kafka
Sink连接器,它从
主题
中读取,并称为GRPC服务。但不
确定
如何将这些数据重定向到卡夫卡
主题
。
浏览 1
提问于2022-08-29
得票数 0
回答已采纳
1
回答
如何根据
Kafka
流
的
JSON内容过滤事件
java
、
json
、
apache-kafka
、
apache-kafka-streams
我正在使用
Kafka
Streams来读取集群中
的
一个
主题
,并且我希望根据其JSON内容来过滤消息,即: JSON格式: { "timestamp": "2019-04-"metadata": [{ "metric_2": "1", "metric_3": "2
浏览 9
提问于2019-04-21
得票数 1
1
回答
Spring Boot App拒绝连接
Kafka
brokers
spring-boot
、
docker
、
apache-kafka
、
docker-compose
、
apache-zookeeper
所以我最近才开始使用
Kafka
,出于一些奇怪
的
原因,尽管
kafka
和zookeeper服务器容器正在按照文档中
的
预期运行,并使用命令docker ps。这是我
的
docker-compose.ymlversion: '3.2' z
浏览 0
提问于2020-04-29
得票数 1
1
回答
如何比较两个
kafka
流或数据库表之间
的
(10亿条记录)数据
database
、
apache-kafka
、
apache-kafka-streams
、
ksqldb
我们有两个选择- a)将所有卡夫卡
主题
数据放入DB2 (作为表-1-拷贝),然后左转连接(表-1和表-1-拷贝之间)以查看不匹配
的
记录,创建增量并将其推回
kafka
。problem:可伸缩性--我们
的
数据集大约有10亿条记录,我不
确定
DB2 DBA是否会让我们运行如此庞大
的
连接操作(这种操作可以轻松持续15-20分钟)。( b)将DB2再推回并行
的
kafka
主题
(Top-1-Copy),然后执行一些基于
kafka
流<
浏览 1
提问于2018-09-01
得票数 3
2
回答
测试
kafka
是否准备好了,
主题
可以从cli访问。
apache-kafka
环顾四周,除了卡夫卡--
主题
--列表,什么也找不到。我在K8s环境中运行
Kafka
,并有一个init容器来创建几个
主题
。我希望我
的
主容器只在
主题
创建并且
主题
是“可订阅
的
”时才启动。卡夫卡-
主题
-名单,我相信是刚刚到达动物园管理员,因为我可以看到我
的
吊舱显示错误信息
的
主题
。我确实尝试过
kafka
-控制台-使用者,但是即使
主题
不存在,它也不会退出状态1,如果无法访问引
浏览 1
提问于2019-05-13
得票数 2
回答已采纳
1
回答
事件、渠道、话题之间有什么区别?
spring-boot
、
apache-kafka
、
spring-integration
、
spring-kafka
假设我有一个组件"Order“,当我创建/取消/修改订单时,该组件必须将事件发送到
kafka
通道。 我创造了一个频道。作为“点菜”。
主题
是我可以为这个频道使用
的
名称吗?什么是
主题
与频道?创建和维护所有此类订单
的
记录。我希望在此组件
的
订阅服务器部分中使用orderEvents类。
浏览 3
提问于2022-06-29
得票数 2
回答已采纳
1
回答
Spark
kafka
streaming -如何
确定
批次结束
apache-spark
我正在使用
Kafka
流媒体从
Kafka
主题
消费。(
kafka
直播流)该topic中
的
数据每隔5分钟就会从其他来源到达。现在我需要处理每隔5分钟到达
的
数据,并将其转换为Spark DataFrame。现在,流是连续
的
数据流。我
的
问题是,我如何
确定
我已经读完了加载到
Kafka
主题
中
的
第一组数据?(这样我就可以将其转换为DataFrame并开始我
的
工作) 我知道我可以将
浏览 0
提问于2017-06-09
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
网站建设公司如何来确定网页的主题?
系统解读Kafka的流和表(二):主题、分区和存储
Kafka的简单介绍
10分钟带你玩转Kafka基于Controller的领导选举!
大数据流处理:Flume、Kafka和NiFi对比
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券