我们正面临着一个特殊的问题，当我们向Kafka发出消息时，有时消费者端找不到它。我们尝试进一步调试，并启用了onSuccess()和onFailure()回调。但是，我们发现了3个消息(每个消息在不同的时间)，对于它们，我们既没有onSuccess()也没有onFailure()回调。它只是在交流中迷失了，可以这么说！现在，这发生在应用程序被关闭以进行重新部署之前。我从Kafka Producer Config中了解到，默认批处理大小是16KB，在将消息</em
浏览 114提问于2020-07-11得票数 1
回答已采纳
在我们的项目中，我们需要通过许多线程定期从第三方获取数据，然后将这些数据推送给Kafka。如果目前无法使用Kafka服务器，则应该终止流，在下一次预定执行过程中应该丢失并重新获取获取的数据。此外，还需要使用事务管理，因为我们需要将这批消息发送给Kafka到不同的主题。如果没有发送一条消息，则所有其他消息都应该回滚。
如果Kafka Server不可用，我们就遇到了终止执行的问题。但是在启用事务管理的情况下，Kafka
浏览 1提问于2018-07-16得票数 2
2回答
在使用Kafka的星火流中，我面临数据丢失的问题，我的用例如下：
火花流(DirectStream)应用程序从Kafka主题读取消息并进行处理。在处理消息的基础上，应用程序将处理后的消息写入不同的Kafka主题，例如，如果消息是协调的，那么将消息写到协调的主题或不协调的主题上。现在，问题是，在流过程中，不知何故，我丢失了一些消息，即所有传入的消息都没有
浏览 4提问于2017-05-30得票数 8
使用avro的kafka模式管理为我们提供了向后兼容的灵活性，但我们如何处理方案中的突破性变化？假设生产者A向消费者C发布消息M现在我们正在部署producerA-New和Consumer C-New
问题是，在我们的部署过程完成之前，我们可以使用生产者A-new发布消息M-new，其中Consumer C(旧的)将接收M-new，
浏览 0提问于2019-06-04得票数 2
1回答
下面是我的制作人的样子：import org.apache.kafka.clients.producer.ProducerRecordProducerRecord<Object, Object> data = new ProducerRecord<>(topic, partition,null, message);
producer.sendFs
浏览 1提问于2020-04-20得票数 0
我对Kafka和kubernetes的世界非常陌生，并试图在它上面做一个项目。我的要求可能听起来很愚蠢，但它有点像这样： Kafka生产者和kafka消费者仅部署在本地Minikube集群中。但是我不知道如何从生产者(部署在kubernetes中)发送消息到这个外部Kafka集群，以及如何消费它，因为消费者也在Minikube中。有人能在这方面帮我一下吗？apiVersion: apps/v1metadat
浏览 28提问于2021-09-10得票数 0
我们使用Azure Event Hub和Kafka集成选项。我们的服务基于Java、Spring Boot、Spring Cloud Stream。它们部署在Azure AKS上。有时，制片人不能发布到Kafka。我们会丢失消息，这通常对整体数据一致性至关重要。-2]Got error p
浏览 23提问于2019-02-22得票数 1
我们有多个节点的spring-boot app，并使用KafkaTemplate生成kafka消息。在我们的例子中，消息是连续产生的，每个主题(具有多个分区的主题)每秒大约产生几千条消息。在应用正常关闭期间(无论是在重新部署期间还是在自动缩容期间)，我们经常会遇到NPE错误： [kafka-producer-network-thread | producer-1] ERROR org.apache.kafka.clients.
浏览 47提问于2020-07-01得票数 1
回答已采纳
flume-kafka-sink遇到了奇怪的问题，kafka代理多次失败并产生重复消息(每50条记录相同)，但是关于producer.sinks.r.request.required.acks = 1的设置，对kafka文档的配额“此选项提供了最低的延迟，但最薄弱的持久性保证(一些数据将在服务器故障时丢失)”，它不能生成重复的数据吗？这意味着flume或flume-kafka-sink引起的问题吗？
浏览 5提问于2017-11-03得票数 0
回答已采纳
2回答
卡夫卡生产者配额
、、、
下面是我们的IoT平台中的入站消息流：我希望实现一个解决方案，有效地限制/节流每秒发布给Kafka的数据量。如果成功地获得了许可证，那么元组就会像往常一样转发给Kafka，否则，配额就会超出，消息就会被默默地丢弃。这种方法相当繁琐，在某一时刻注定会失败或成为瓶颈。这两个设备都会发出入站事件消息。如果只允许一对一
浏览 3提问于2017-10-05得票数 1
我想知道spring boot内部的spring kafka Producer是否保证交付。
有人知道如果某个随机监听器无法接收消息会发生什么情况吗？spring kafka是否会重试发送消息？
浏览 0提问于2019-05-29得票数 0
5回答
如何在kafka中发送同步消息？max.in.flight.requests.per.connection = 1。但我想知道在kafka中是否有一种直接或替代的方式来发送同步消息。(类似于producer.syncSend(...)等)。
浏览 0提问于2017-08-06得票数 7
我们使用spring-cloud-stream-binder-kafka (3.0.3.RELEASE)向我们的Kafka集群(2.4.1)发送消息。这样我们就会经常丢失消息，这对下游消费者来说是不好的，因为我们不能简单地复制传入的流量。错误消息是
[Producer clientId=producer-5] Received invalid metadata error in produce request on partitionError: NO
浏览 0提问于2020-05-14得票数 1
2回答
当连接丢失到这样的服务时，我得到了异常，例如 at org.apache.kafka.clients.producer.internals.Sender.run(Sen
浏览 7提问于2015-12-30得票数 4
回答已采纳
1回答
防止创建两次对象
、、
} 并发送消息给kafka：
KkProducer.send(pSignIn)(KkProducerRecord(AuthTopology.SignInReqTopic,: kafka.producer:type=app-info,id=
浏览 0提问于2017-12-27得票数 0
我有一个基于flink的流媒体应用程序，它使用apache kafka源和接收器。因为有时候我会在开发过程中的随机时间得到异常，我不知道它们是从哪里来的。我使用mainRunner类在IntelliJ中运行应用程序，并通过kafka向它提供消息。有时第一条消息会触发错误，有时只有在几条消息之后才会发生。: Failed to close kafka producer
at org.apache.kafka.c
浏览 111提问于2019-01-29得票数 1
回答已采纳
我们有一个运行在HDP集群上的Kafka。Kafka丢失分区同步已经有些日子了，而我似乎丢失了一些消息。有人能向我确认，如果Kafka失去分区同步，它可能会丢失消息吗？
浏览 1提问于2019-02-14得票数 0
json消息写入kafka主题，并将错误消息写入不同的kafka主题。: group: usproductrecommendationsgroup destination: errorchannel producer</em
浏览 2提问于2017-10-19得票数 1
我使用的是Kafka 0.11.0.0。我有一个发布到Kafka主题的测试程序；如果zookeeper和Kafka服务器关闭(这在我的开发环境中是正常的；我会根据需要启动它们)，那么对KafkaProducer<>.send()的调用就会无限期地挂起基本上，我希望我的测试工具能够告诉我，“嘿，笨蛋，启动Kafka!”而不是绞死。kafkaProducer.send(new ProducerRecord<>(K
浏览 3提问于2017-11-18得票数 7
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
