生产者可以为kafka消息发送头部吗？

文章/答案/技术大牛

发布

1回答

ballerina、ballerina-kafka

我需要通过kafka发送消息，并发现“通过示例学习”中的所有示例都非常有用。我确实需要在我发送的消息中添加报头，但我找不到如何在产生或消费时添加报头的示例。有可能吗？有什么例子吗？

浏览 24提问于2020-03-28得票数 0

1回答

kafka自定义分区和重新分区

apache-kafka、partitioning、kafka-topic

我们可以为kafka主题指定自定义分割器。因此，kafka生产者可以根据特定的自定义算法将消息确定地发送到特定的分区。现在的问题是，当我增加分区数量时，kafka将如何在新分区之间重新分配现有消息？或者Kafka不会将消息分发到新分区？有可能触发这种重新分配吗？如果是这样，那么kafka将如何了解自定义分区程序，因为这段代码驻留在生产者部分？

浏览 6提问于2020-09-15得票数 1

1回答

向Kafka发送消息可以异步地影响消息排序吗？

apache-kafka、kafka-producer-api

这是我对异步向Kafka发送消息和实现回调函数的理解：生产者发送批次A。这是否会干扰卡夫卡在B之后接收到的信息排序呢？

浏览 3提问于2022-10-24得票数 1

1回答

加入流Apache Spark

sockets、apache-spark、tcp

我有一个连接到传感器的python应用程序，并创建了一个TCP服务器，该服务器等待来自Apache Spark的连接，然后通过此套接字发送json数据。我如何才能加入多个独立的传感器源，将数据发送到Apache Spark上的同一接收器？

浏览 3提问于2017-04-16得票数 1

1回答

Kafka -在Kafka集群中重试

apache-kafka

在Kafka集群中，如果重试次数增加了，原因是什么？与重试相关的因素有哪些？

浏览 14提问于2019-01-03得票数 0

3回答

卡克法重试概念-卡夫卡将停止什么基础重试？

apache-kafka、kafka-producer-api、producer-consumer

现在来问一下，

浏览 11提问于2020-05-04得票数 0

2回答

使用Spring Kafka添加自定义头部

spring、apache-kafka、spring-kafka、spring-boot-test

我计划使用Spring Kafka客户端在Spring Boot应用程序中使用kafka设置并生成消息。我在Kafka 0.11中看到了对自定义头部的支持，作为详细的。虽然它对原生Kafka生产者和消费者是可用的，但我不认为Spring Kafka支持添加/读取自定义头部。我正在尝试基于重试计数为消息实现DLQ，我希望将重试计数存储在消息头中，而不必解析有效负载。

浏览 1提问于2018-02-15得票数 5

回答已采纳

2回答

我可以使用线程将mensagem发送到唯一的kafka主题吗？如果是，是如何实现的？

java、apache-kafka

我可以在kafka中使用线程向单个主题发送消息吗？我开发了一个kafka生产者在春季启动发送消息到一个kafka主题，我需要知道是否有可能创建多个线程发送多个消息到一个主题。例如:在一个生产者中创建三个线程，同时将三个不同的消息从每个线程发送到单个kafka主题。有可能吗？make this有一些特定的配置<e

浏览 1提问于2019-04-04得票数 2

1回答

rsyslog-omkafka模块中没有保留消息的顺序。

apache-kafka、rsyslog

体系结构:带有单个分区的文件-> imfile -> omkafka -> Kafka主题如果生产者将消息推送到单个分区，则由Kafka保证消息的顺序。因此，似乎omkafka模块混淆了顺序。

浏览 0提问于2019-01-24得票数 0

2回答

producer能否找到Kafka 0.8中brokers的添加和删除？

producer-consumer、apache-zookeeper、messagebroker、apache-kafka

我们知道，在kafka 0.7中，我们可以为producer指定zk.connect，这样producer就可以找到broker的添加和删除。但是在kafka 0.8中，我们不能为生产者指定zk.connect。kafka 0.8中的producer能找到它吗？如果没有，系统的可伸缩性不比0.7版本差吗？

浏览 2提问于2013-01-14得票数 1

1回答

使用C#向生产者发送消息时，如何在kafka消息中添加头部属性？

c#、apache-kafka、kafka-consumer-api、kafka-producer-api

maximumMessageBuffer); var fileStream = new FileStream(@"D:/kafka_examples); client.SendMessageAsync("Hello-Kafka", new[]

浏览 43提问于2020-04-13得票数 1

1回答

生产者如何与注册表通信，以及它向注册表发送了什么？

apache-kafka、protocol-buffers、confluent-schema-registry

MyRecord>(topic, key, myrecord);producer.close();总之，我的问题是，想象一下，我有一个记录，是一个原型格式。我要把这个原型放在卡夫卡的某个话题里。现在我想激活模式注册中心，那么生产者是否只需要将proto定义<e

浏览 4提问于2020-09-22得票数 1

回答已采纳

1回答

卡夫卡制作人对第一条消息反应迟钝。

.net、apache-kafka、confluent-platform

我在.NET中有一个测试应用程序，它创建了卡夫卡生产者，并使用汇合客户端库向主题发送了一些消息。如果我更新应用程序以将消息发送到几个主题，那么每个主题的第一条消息将被延迟1秒发送。静态void (){ var生产者=新Producer<Null，s

浏览 0提问于2018-12-11得票数 3

回答已采纳

1回答

微服务中Kafka生产者造成的GC大暂停

java、performance、apache-kafka、garbage-collection、kafka-producer-api

我的一个web服务为每个在线请求发送日志消息(大小: 10K)到kafka (版本: 0.10.2.1)，我发现KafkaProducer消耗了大量内存，这导致了很长的gc暂停时间。我的服务中只有一个Kafka生产者，是官方推荐的。我想知道谁有什么建议，如何在不影响在线服务的情况下向kafka发送消息？

浏览 0提问于2019-11-14得票数 0

1回答

如何通过生产者侧配置来处理kafka中的大消息？

apache-kafka、spring-kafka

来自我的kafka生产者的一些消息超过了默认的1MB，并且被代理拒绝。我无法访问代理和消费者来进行更改。因此，我只需要在生产者级别进行更改。

浏览 0提问于2020-07-23得票数 0

1回答

获取消息到达Kafka的时间

apache-kafka、kafka-consumer-api

Kafka的消息元中的时间戳表示Kafka生产者发送消息的时间，但我的目标是提取消息到达Kafka集群的时间。有什么方法可以解压出来吗？

浏览 115提问于2019-04-02得票数 3

回答已采纳

1回答

用聚集卡夫卡保证交货

messaging、apache-kafka

根据最近的一篇文章，Kafka可以在复制的配置下删除确认的消息： 生产者只有在从接收主题上收到来自使用者的确认消息</

浏览 1提问于2015-11-17得票数 1

回答已采纳

1回答

可以在消费者或生产者中使用kafka* broker ip吗？*

apache-kafka

topic test这是一条消息2016-08-24 18:15:27,441向topic test发送消息时出错: null，value: 2字节错误:包含1条记录的(org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) org.apache.kafka.common.errors.TimeoutException:批次在向broker请求测试元数据时超时过期-0 为什么无法将消息发送到19

浏览 13提问于2016-08-24得票数 0

2回答

有没有办法通知Kafka消息生产者重新发送消息

apache-kafka、spring-kafka

假设kafka消息生产者向topic发送了一条事件消息。然后消费者处理该事件消息。但是，由于业务错误，此消费者进程会抛出异常，因此他希望让消息生产者知道并重新发送。有什么解决方案吗？

浏览 27提问于2021-08-18得票数 0

2回答

如何使用KStream发送报头

apache-kafka、apache-kafka-streams

我正在处理一个我已经创建了管道的用例，该管道将数据从mongo发送到elasticsearch。Mongo -> Spring Boot -> Kafka -> Transformer(KStream) -> Kafka ->消费者(发送给弹性搜索) 我必须计算从Mongo到Elastic search我想使用Kafka头，并在下一个Kafka生产者中继续转发它们的值，最后通过从当前时间戳中减去来计算相同的值。我可以从生产者</e

浏览 23提问于2019-04-28得票数 1

点击加载更多