腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
向
kafka
dlq
发送
错误
消息
时
获取
ClassCastException
java
、
apache-kafka
、
kafka-consumer-api
、
spring-cloud-stream
throw new MyException(e.getMessage()); }; public void handleError(ErrorMessage errorMessage) { log.error("exception occu
浏览 158
提问于2020-04-03
得票数 2
1
回答
无法从
DLQ
spring云流
kafka
读取异常头部
spring-cloud-stream
使用Spring cloud Stream
Kafka
监听器从
kafka
主题中读取
消息
,并在异常情况下将
消息
发送
到死信队列,配置属性 spring.cloud.stream.
kafka
.bindings.input.consumer.enable-
dlq
=true spring.cloud.stream.
kafka
.bindings.input.consumer.
dlq
-name=book_error 我可以
向
<em
浏览 15
提问于2020-01-26
得票数 1
1
回答
如何配置DeadLetterPublisherRecoverer在Stream批处理模式下
向
DLQ
发送
错误
消息
java
、
spring
、
spring-kafka
、
spring-cloud-stream
、
spring-cloud-function
我使用和Spring函数创建了一个
Kafka
消费者,用于批量消费来自
Kafka
主题的
消息
。现在,我希望将
错误
批次
发送
到死信队列中,以便进一步调试
错误
。但是对于不可重试的异常,我希望将整个批处理
发送
到
DLQ
。{ }使用DeadRecordPublishinRecoverer启用
错误
处理程序将失败的
消息<
浏览 9
提问于2022-07-11
得票数 0
1
回答
春季云流
DLQ
的分块
Kafka
主题
java
、
spring-cloud-stream
、
spring-kafka
当为弹簧云流
Kafka
消费者设置
DLQ
时
,
DLQ
所写的主题能被分区吗?我有一个要求,使键相等于一个特定的字段,我想知道这是如何可能的春天云流。
浏览 2
提问于2018-11-14
得票数 1
回答已采纳
1
回答
kafka
connect http接收器的死信队列
apache-kafka
、
queue
、
connect
、
letter
、
dead-letter
我正在为
Kafka
connect编写HTTP Sink插件。它的作用是为配置的
Kafka
主题中的每条
消息
发送
HTTP请求。我希望将
消息
发送
到死信队列,以防HTTP请求失败。这个问题的原因是,在
kafka
connect文档和一些博客中已经提到,只有转换器和转换器中的
错误
才会被
发送
到死信队列,而不是PUT过程中的
错误
。因为
发送
http请求的任务是在PUT中完成的。所以我在想,有没有办法
向</
浏览 26
提问于2020-08-31
得票数 1
1
回答
在春云流和卡夫卡的功能模型中,如果出现异常,如何
发送
到另一个主题(
错误
主题)?
spring-boot
、
apache-kafka
、
spring-cloud
、
apache-kafka-streams
、
spring-kafka
下面是函数的一个片段,请建议如何根据是否有
错误
将数据
发送
到不同的主题。 public Function<KStream<String,?>, KStream<String,?
浏览 3
提问于2021-02-23
得票数 0
回答已采纳
1
回答
使用
DLQ
和ElasticSearch的卡夫卡消费者
elasticsearch
、
apache-kafka
、
logstash
、
apache-kafka-connect
、
fluentd
我有以下集群:我的问题是如何选择最有效的日志收集器(或者其他一些允许管理
Kafka
和ElasticSearch之间数据流的软件)。我正在尝试从Logstash、Fluentd和Confluent的
Kafka
Elasticsearch连接器中进行选择。我面临的主要问题是无法在写入Elasticsearch端点
时
在
Kafka
中回滚偏移。 例如,logstash说“如果启用400和404
错误
将
发送
浏览 1
提问于2018-10-19
得票数 0
1
回答
> SendTo不
发送
给卡夫卡,而是直接通过直接通道
发送
apache-kafka
、
spring-cloud-stream
在我的应用程序中,我有两个渠道,它们绑定到两个
Kafka
主题: 对输入进行配置,以便在发生
错误
时
向
dlq
(error.input.my-group)
发送
消息
。我在"error.input.my-group“上配置了一个StreamListener,以便将
消息
发送
回原始信道。:9092,bootstrap.
kafka
.svc.cluster.local:9093
浏览 1
提问于2018-10-18
得票数 0
回答已采纳
1
回答
使用SendToDlqAndContinue spring
kafka
streams绑定器
时
出现序列化异常
spring-boot
、
apache-kafka
、
apache-kafka-streams
、
spring-kafka
我试图在处理异常
时
向
DLQ
发送
消息
,但是当我从Spring-boot-
kafka
-streams-binder使用SendToDlqAndContinue
时
,我一直收到序列化异常 @EnableBinding//
DLQ
handler will correctly map to the
dlq
topic from the actual incoming destination.System.out.println
浏览 21
提问于2020-05-11
得票数 0
1
回答
如何在SCDF任务中使用KafkaItemReader
获取
完整
消息
?
spring-batch
、
spring-kafka
、
spring-cloud-dataflow
我试图创建一个SCDF Task来处理
错误
,但是我不知道如何获得带有效负载和标题的完整的
kafka
消息
。我试图做一个通用的任务,所以
DLQ
和目标主题是
Kafka
消费者和生产者属
浏览 5
提问于2020-11-13
得票数 0
回答已采纳
1
回答
春云流卡夫卡绑定器enableDlq没有像我预期的那样工作。
spring-boot
、
apache-kafka
、
spring-cloud-stream
、
spring-cloud-stream-binder-kafka
我正在使用spring云流
kafka
绑定器和模式注册表。(不是kakfa流)我要做的是,当不可反序列化
消息
进入输入主题
时
,将deserializable
消息
发送
到
dlq
.。所以我尝试了像下面这样的配置,但是spring应用程序让不断地无限地重试,并且说 spring.cloud
浏览 3
提问于2021-02-18
得票数 0
回答已采纳
1
回答
修改
DLQ
消息
spring-cloud-stream
、
spring-cloud-stream-binder-kafka
我使用的
DLQ
特性和
Kafka
绑定。当
消息
处理失败
时
,
消息
将按预期的方式
发送
到
DLQ
,但是,我希望能够修改
发送
给
DLQ
的
消息
,以包含一些额外的诊断信息。问题是
发送
到
DLQ
的
消息
是原始
消息
;我所做的任何更改都会被忽略。到目前为止,我解决这个问题的方法是在
消息
发送
到
DLQ
之前拦截它,并添加存储在另
浏览 2
提问于2020-06-09
得票数 0
1
回答
如何处理Spring Cloud Stream的反序列化异常和转换为新的Schema?
spring-cloud
、
spring-cloud-stream
、
dead-letter
、
spring-cloud-stream-binder-kafka
主要是因为实现的框架不支持标头,并且
DLQ
被认为是与原始
消息
不同的架构。因此,过程流需要是:消费
消息
->反序列化
错误
-> DlqHandler ->使用新模式序列化->
发送
到
DLQ
下面链接的文档并没有给出一个好的想法,如果这是可能的。我已经看到了相当多的Spring-
Kafka
的SeekToCurrentErrorHandler示例,但据我所知,这些是不同的实现,与我如何正确地
获取
反序列化
错误
,然后有一个自定
浏览 15
提问于2021-03-11
得票数 0
回答已采纳
1
回答
从
Kafka
DLQ
到Splunk创建警报
apache-kafka
、
splunk
Kafka
代码在处理数据并移动到
dlq
(代码正在创建日志)
时
创建日志。不确定如何配置连接
浏览 18
提问于2022-08-04
得票数 0
2
回答
如何设置ActiveMQ.
DLQ
队列的过期时间?
activemq
作为一名运营人员(不是开发人员),基于,我尝试在集成到KahaDB Fuse6.2中的ActiveMQ.
DLQ
上设置过期时间,以确保JBoss的文件夹不会超出磁盘空间,但下面的设置似乎不会对队列
消息
做任何操作,只是将它们复制到ActiveMQ.Advisory.Producer.Queue.ActiveMQ.
DLQ
两次。要测试这一点,只需使用JBOSS FUSE管理控制台将
消息
发送
到ActiveMQ.
DLQ
队列中,并注意到生成了一个新队列,该队列的
消息
数是我
发送
浏览 4
提问于2016-10-25
得票数 3
回答已采纳
1
回答
如何处理/拦截中引发的异常(Elmhurst/2.0)
spring-integration
、
spring-cloud-stream
、
spring-kafka
当按照SCS文档中的建议配置"bindings.error.destination: myErrorTopic“
时
,我甚至不会在主题中收到任何
错误
消息
。但是,这并不能满足确定原始异常的重要需求,因为发布到
DLQ
的内容只有一个具有完整堆栈跟踪的标头。我不想解析堆栈跟踪来找出原始异常的类型或
消息
。 有什么更好的方法吗?还是我犯了什么愚蠢的
错误
?我的总体目标是
向
DLQ
发送
带有实际异常类型和异常
消息
的异常
消
浏览 0
提问于2018-05-24
得票数 1
回答已采纳
2
回答
为
Kafka
重试死信队列中的
消息
的最佳实践是什么?
apache-kafka
、
error-handling
我们正在使用
Kafka
作为微服务之间的
消息
传递系统。我们有一个
kafka
消费者在听一个特定的主题,然后将数据发布到另一个主题中,由
Kafka
连接器负责将其发布到一些数据存储中。我们需要使
DLQ
为
Kafka
消费者和
Kafka
连接器添加容错功能。由于多种原因,任何
消息
都可以移动到
DLQ
: DataThrottling格式Bad格式坏
消息
数量大,因此某些
消息
可能会移动到
DLQ
发布,但由于
浏览 7
提问于2021-01-16
得票数 9
回答已采纳
3
回答
当
Kafka
Producer没有
发送
消息
时
,如何保存到本地存储
消息
?
apache-kafka
、
iot
、
kafka-producer-api
我和Kakfa Producer有120个数据生产者,他们每秒
发送
消息
,有些有敏感的数据(我的意思是,我们必须
发送
是或是),而且这些生产者有时可能关闭或失去互联网连接,所以我需要生产者中的容错。我知道有
发送
数据的方式,同步和异步,他们坚持尝试
发送
数据并将其保存在内存中,但如果我想将其保存在磁盘中而不是缓冲内存中,我们如何做到这一点。如果
消息
没有
发送
,我们如何在磁盘中保存它们?当
Kafka
生产者抛出异常
时
,我们如何控制?
浏览 0
提问于2020-03-05
得票数 0
1
回答
泉卡夫卡流-无
错误
的未被确认的
消息
apache-kafka
、
stream
、
spring-kafka
、
consumer
我使用@StreamListener来使用
Kafka
消息
。如果我没有确认所使用的
消息
,也没有抛出任何
错误
,会发生什么情况?卡夫卡会在某个时候自动
发送
信息吗?当我抛出
错误
时,重放就会重新开始,直到我的maxAttempt配置和失败的
浏览 6
提问于2020-02-01
得票数 0
回答已采纳
1
回答
当服务中发生在聚合器的RabbitMQ之后的异常
时
,如何死信RabbitMQ
消息
spring-boot
、
spring-integration
、
spring-amqp
、
spring-integration-dsl
这是我的设置:我添加了上面链接中提到的配置,并看到
错误
消息
被
发
浏览 0
提问于2019-04-02
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
你可能用错了kafka的重试机制
聊聊 Kafka:Producer 源码解析
【行业资讯】Apache Storm 2.1.1 发布,分布式实时计算
Kafka-Clients源码学习:KafkaProducer篇
Kafka 客户端是如何找到 leader 分区的
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券