腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(8349)
视频
沙龙
1
回答
每次
发送
命令
后
都会
得到
Kafka
生产者
的
响应
java
、
spring-boot
、
apache-kafka
、
spring-kafka
、
kafka-producer-api
我正在使用spring boot
Kafka
向一个主题
发送
消息。我
的
需求是以增量方式从表中读取数据,并基于日期时间字段将其发布到主题中。由于这是一个计划
的
过程,因此我需要在
每次
成功地将消息
发送
到
Kafka
之后存储每条消息中
的
日期时间字段。 我相信我不能对这样
的
事情使用异步回调,因为我需要在
每次
调用
生产者
之后更新变量。另外,由于基础设施
的
限制,我无法使用
Kafka
浏览 7
提问于2020-10-23
得票数 0
2
回答
使
Kafka
生产者
和消费者同步
apache-kafka
kafka
消费者正在从另一个主题中读取关于主题1中
的
数据处理是否成功或失败
的
信息,即主题2是否成功或失败。我正在启动我
的
消费者,然后将数据发布到主题1。.I想使
生产者
和消费者同步,即一旦
生产者
发布数据,消费者应该读取该数据
的
成功或失败消息,然后
生产者
应该继续处理下一组数据。
浏览 3
提问于2017-08-01
得票数 2
1
回答
Kafka
如何重试request.timeout?
spring-boot
、
apache-kafka
、
kafka-producer-api
我已经给我
的
生产者
配置了request.timeout.ms = 70,0000ms和retries=5。我怀疑这是如何工作
的
, 在此"request.timeout.ms=70,000“过期
后
,它会重试5次,或者在给定
的
"request.timeout.ms=70,000”内,它会用retry.backoff.ms
浏览 0
提问于2020-10-16
得票数 2
3
回答
kafka
-avro-console-
生产者
快速入门失败
confluent-platform
我正在使用confluent-3.0.0中
的
kafka
-avro-console-producer,当我执行以下
命令
时出现错误: ./bin/
kafka
-avro-console-producer --broker-list localhost:9092 --topic test1234 --property value.schemaSLF4J: Found binding in [jar:file:/Users/tonydao/dev/bin/conf
浏览 0
提问于2016-09-22
得票数 8
2
回答
在卡卡
生产者
中配置重试
的
最佳方法
apache-kafka
、
kafka-producer-api
将同步副本配置为Acks=all和min.insync.replicas = N,当
Kafka
无法处理ISR时,在线记录在处理过程中是N-1,最小配置
的
浏览 8
提问于2021-01-17
得票数 0
1
回答
汇合卡夫卡对K8s -偏移是卡住,滞后增加,可以做什么?
kafka
看起来我们
的
消费者被困在一个循环中,因为抵消是静态
的
,滞后持续上升。当我重新启动zookeper/brokers (持久卷)时,偏移量移动了一小部分,然后它又被卡住了。我已经检查了我
的
消费者,他们中只有一人分配了一些东西,这是处理和所有的任务完成
后
。在消费者方面发生
的
是,有时我们有一个错误,我们试图无视信息,但卡夫卡仍然受到影响。在默认配置之外可以做什么。我们不确定为什么停止使用消息,或者好像有某种循环状态导致试图一次又一次地处理相同
的
消息。
浏览 0
提问于2020-06-10
得票数 0
回答已采纳
8
回答
Kafka
- Broker失败,因为所有日志目录都失败了
apache-kafka
我正在尝试在Windows操作系统上进行简单
的
kafka
配置。我
的
zookeeper和
kafka
安装使用默认配置(数据和日志目录路径除外)。我可以启动
kafka
并生成/消费消息,没有问题;但是,当broker尝试删除旧消息时(我将日志保留设置为100ms),我
得到
以下错误: java.nio.file.FileSystemExceptionat
kafka
.log.LogSegment.changeFileSuffixes(LogSegment.scala:4
浏览 544
提问于2018-08-02
得票数 24
回答已采纳
1
回答
如何使用
kafka
实现请求-
响应
机制?
java
、
message-queue
、
esb
、
apache-kafka
我们希望使用
Kafka
作为我们
的
企业服务总线(ESB)。是否仍然有可能解决这个问题,并使用
kafka
在我们系统中
的
两个端点之间进行请求-
响应
消息传递?
浏览 0
提问于2015-11-21
得票数 2
3
回答
打开卡夫卡与外界沟通
的
港口
linux
、
azure
、
configuration
、
port
、
apache-kafka
我在Azure有一个VM (Linux ),上面有Hortonworks,它发布了
Kafka
。 为了从VM外部为
Kafka
通信设置正确
的
端口,我需要做什么?我认为这里
的
问题是
Kafka
在监听本地IP,而不
浏览 2
提问于2016-04-04
得票数 0
回答已采纳
2
回答
如何使用
kafka
控制台
生产者
发送
key、value消息
apache-kafka
、
kafka-consumer-api
、
kafka-producer-api
我有一个需要向
Kafka
控制台
生产者
发送
键值消息
的
用例。那么如何通过
Kafka
Console Producer
命令
来实现这一点呢?
浏览 1
提问于2020-05-29
得票数 20
回答已采纳
1
回答
微服务事件驱动
的
通信--如何仅在
命令
/事件方法中通知调用方
microservices
、
kafka-consumer-api
、
distributed-system
、
spring-cloud-stream-binder-kafka
、
asynchronous-messaging-protocol
我想知道,如何避免通知所有使用相同事件
的
服务?例如,服务A和服务B都使用事件X。根据某些规则,您希望只为服务A
发送
事件X。我不是在谈论消费者组(
kafka
),甚至不是关联Id。因为我使用
的
是事件驱动
的
微服务,使用
的
方法是
命令
和事件。
浏览 9
提问于2022-04-25
得票数 0
3
回答
卡夫卡,制作
后
能
得到
信息偏移吗?
message-queue
、
apache-kafka
在使用Apache时,是否有可能获得已生成
的
消息
的
偏移量?分区中
的
每条消息都分配了一个唯一
的
顺序id/号,称为偏移量。现在,假设当我生成任何消息时,我想检索分配给它
的
偏移量。
浏览 0
提问于2013-09-06
得票数 3
回答已采纳
2
回答
当
Kafka
服务器停机几分钟时,
Kafka
Producer将丢失消息
apache-kafka
、
kafka-producer-api
我写了一个Java程序,它使用了
Kafka
库,我听说
Kafka
生产者
有内部缓冲区来保存消息,这样它可以在以后重试。所以我创建了具有重试属性
的
幂等
Kafka
生成器。props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, System.getenv(KafkaConstants.
KAFKA
_URL)); props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apac
浏览 3
提问于2018-01-22
得票数 0
回答已采纳
1
回答
通过Zuul消费
Kafka
事件
的
微服务
apache-kafka
、
microservices
、
netflix-zuul
我是微服务架构
的
新手。我想使用Netflix OSS创建一个微服务。我希望我
的
架构看起来像这里描述
的
那样。然而,我希望我
的
一个微服务(位于Zuul反向代理背后)消费来自
Kafka
事件(来自其他团队)
的
事件。我不确定这是不是一个好主意,因为这将暴露我
的
微服务,这些微服务应该是在我
的
Zuul墙后面从外部世界抽象出来
的
。 还有没有别的办法。我可以使用我
的
Zuul消费来自
kafka
的
事件流
浏览 1
提问于2017-11-23
得票数 1
1
回答
小卡夫卡制片,在一个lambda - TimeoutException里
kotlin
、
apache-kafka
、
aws-lambda
、
quarkus
、
smallrye-reactive-messaging
我在Kotlin lambda里面运行一个Smallrye
Kafka
制作人。问题是,我大部分时间
都会
得到
一个TimeoutException,我试图向
Kafka
发送
消息(运行在艾文)。我读到,这可能是
生产者
的
超时配置中
的
一个问题,但我想了解更多关于如何尝试和配置
生产者
的
request.timeout.ms
的
信息,因为关于如何为小黑眼连接器这样做
的
信息非常有限。
浏览 2
提问于2022-11-07
得票数 0
1
回答
将
Kafka
与应用程序解耦
java
、
apache-kafka
、
vert.x
、
kafka-producer-api
、
modularity
我有一个应用程序,它接收大量
的
GET请求(5分钟内大约有250000个)。应用程序解析查询参数并发布到
Kafka
。
Kafka
服务器也在另一台AWS机器上。 但是,如果
kafka
宕机了,或者如果
kafka
由于任何原因而
响应
缓慢,那么我
的
应用程序就会冻结,无法进一步处理任何请求。我想知道如何使我
的
应用程序独立于
Kafka
,也就是说,如果
kafka
宕机(或
响应
缓慢),那么它不应该影响我
的
浏览 2
提问于2018-09-20
得票数 0
1
回答
Tornado API代理和登录到
Kafka
的
响应
python
、
asynchronous
、
apache-kafka
、
responsive
、
tornado
我
的
客户端请求-> Tornado代理(我正在开发) -> TensorFlow服务->返回客户端
的
响应
时间不能超过20毫秒。Tornado版本6.0.4
Kafka
-python 只有Tornado代理服务器没有登录到
Kafka
,
响应
时间低于14ms,而
Kafka
日志记录
的
响应
时间达到20000ms,这是不可接受
的
。如何使用
Kafka
publish缩短
响应
时间
浏览 12
提问于2020-05-26
得票数 0
1
回答
从
kafka
broker中查找最后插入
的
值
apache-kafka
、
kafka-consumer-api
我遇到了一个API,它
每次
都会
给我一些数字。我必须编写一个
Kafka
生成器来使用此API输出生成连续
的
数字流。例如:我点击了API,我
得到
了450号,然后我必须检查最后在
kafka
broker中插入
的
号码(假设是200)。然后在我
的
生产者
中,我必须从201202...450生成数字,并在
kafka
中作为单独
的
消息插入。
浏览 1
提问于2021-07-22
得票数 0
1
回答
Kafka
将压缩类型设置为“
生产者
vs主题”
apache-kafka
、
kafka-producer-api
在
kafka
中启用压缩
的
下列方法有什么区别:bin/
kafka
-topics.sh --create --zookeeper localhost:2181 --configcompression.type=gzip --topic test
浏览 0
提问于2018-02-07
得票数 29
6
回答
在Linux重新启动
后
,
Kafka
抛出“在尝试重新平衡时找不到任何代理”。
linux
、
apache-kafka
、
apache-zookeeper
重新启动
后
,当我尝试使用
kafka
-console-consumer.sh使用队列时,会出现以下错误。$ ~/
kafka
/bin/
kafka
-console-consumer.sh --zookeeper localhost:2181 --topic TutorialTopic --from-beginning(
kafka
.consumer.ZookeeperConsumerConnector) 在运行
kafka
-console-consumer.sh
浏览 9
提问于2016-02-04
得票数 5
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Kafka之文件消费者应用案例
《Apache Kafka实战剖析》第二讲——Kafka入门指引与重要操作
一次容器化springboot程序OOM问题探险
Kafka技术内幕之Producer概述
DK.Kafka消息引擎系统的相关知识
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券