使用的KAFKA生产者命令： val sparkConf = new SparkConf().setAppName("kk-KafkaSparktestspark.executor.extraJavaOptions=-Djava.secur
浏览 6提问于2017-08-09得票数 0
2回答
或者，如果主题实际上是作为examplea编写的，但消费者可以将其称为exampleb。我认为这可能可以通过在代理上使用小黑客来实现，在那里它回复元数据请求，但如果它可以以某种标准的方式完成，我宁愿不要这样做。
浏览 0提问于2016-06-26得票数 7
1回答
我正在尝试理解redis streams如何进行分区，如果可以将特定的消息发送到特定的分区(类似于使用Kafka的方式)。我已经检查了redis-cli api，没有类似于分区的东西，在使用StackExchangeRedis redis库时也没有这方面的东西。
浏览 41提问于2021-10-07得票数 1
回答已采纳
1回答
我正在执行卡夫卡的ConsumerGroupExample消费者，它挂着等待消息
它似乎正在等待消息(例如，在，在"for ( KafkaStream流: streams)“处等待。配置详细信息：(a)在VMPlayer Ubuntu操作系统中运行；(b)运行kafka版本: 0.8.0；(c)运行相同VM上的动物园管理员、Kafka、使用者和生产者(ubuntu/localhost)；(d)使用与此版本的kafka</em
浏览 1提问于2014-01-19得票数 4
回答已采纳
当用户上传时，Web客户端将处理csv文件，web客户端从csv文件中读取每10,000行，并将csv总行数的数据消息发送给生产者。生产者将消息发送给kafka，然后消费者提取消息，并将数据导入elasticsearch。同时，使用者使用数据消息长度和csv总计数来更新任务进度，如果有，也会更新错误日志。框架：生产者和消费者是我们使用的python程序
浏览 2提问于2017-10-26得票数 0
3回答
消费者和流的区别是什么？对我来说，如果有任何工具/应用程序使用来自Kafka的消息，那么在Kafka世界中，它就是一个消费者。
我做了谷歌这个，但没有得到任何好的答案。
浏览 2提问于2017-05-17得票数 158
回答已采纳
目前我在同一个Spring Boot应用程序中配置了生产者和消费者，但奇怪的是，触发消息的Spring云流并没有通过Kafka (我使用kafka-console- consumer来监控消息)，但是消费者仍然接收消息(使用与生产者相同的线程)。如果我移除应用程序中的consumerHandler (@StreamListener)，生产
浏览 30提问于2021-03-21得票数 1
回答已采纳
在使用Apache Kafka这样的事件/消息代理来解耦两个系统时，我遇到了一个问题。该问题与前端在后端触发动作有关：
如果发布者既不知道“身份”，也不知道消费后端的数量，那么生产者(前端服务)如何知道发布的事件已经被所有后端服务(作为消费者)正确处理？关联的服务将该“更改请求”事件发布到Kafka中的适当主题。然后，UI窗体被“锁定”，以防止后续的更改请求，直到每个使用者都完全处理了更改事件。但目前还不清楚如何检测这种状态。
浏览 0提问于2018-08-15得票数 2
我在Kafka NodeJS中使用了一个简单的消费者/生产者。我的生产者正在发送消息，我很容易在消费者中获得这些消息。生产者和消费者的代码如下。在消费者中，我期望offset.fetch()给我今天的所有偏移量it，但它没有。KIndly指导我如何从这个方法中获得结果，并且还提到了一个方法，它可以直接给出任何分区主题中的最后一个偏移量。
浏览 1提问于2015-07-29得票数 3
Apache Kafka不是JMS的另一种实现吗
我正在我的应用程序中使用JMS+AMQ，并迁移到Apache Kafka。我必须更改所有的JMS代码吗？
浏览 2提问于2015-05-26得票数 25
回答已采纳
1回答
我有一些关于卡夫卡流以及它们是如何工作的问题，我对卡夫卡的消费者和生产者范式有着丰富的经验，然而，这是我第一次尝试使用卡夫卡流。，这在Kafka流中是如何工作的，如果我们增加分区，我们应该如何扩展应用程序，我们需要添加更多的机器还是我们需要做其他的事情？当我通过Kafka消费者消费数据时，我可能最终会对消息做一些事情，例如，我可能会查询API下载文件并写入NFS并将消息转发或将传入
浏览 1提问于2018-12-22得票数 1
回答已采纳
我想用kafka压缩消息。因此，我在生产者端启用了压缩类型为gzip，并且没有在server.propeties上做任何更改。config.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip"); 这是我在生产者配置中添加的代码，但当我向主题发送消息时，当我在消费者端读取消息时，消息并未压缩。有没有人能建议一下在<
浏览 85提问于2020-11-23得票数 0
有没有办法通过一些配置使用Akka kafka Stream Consumer https://doc.akka.io/docs/alpakka-kafka/0.15/consumer.html在特定的时间段读取X个消息假设1分钟。需要处理在特定时间来自生产者的消息轰炸的情况，以便消费者可以受到影响。
浏览 35提问于2021-09-27得票数 0
回答已采纳
Apache Beam和Apache Kafka在流处理方面有什么不同？我也在努力掌握技术和编程上的差异。
请通过您的经验报告来帮助我理解。
浏览 1提问于2018-06-15得票数 10
来自我的kafka生产者的一些消息超过了默认的1MB，并且被代理拒绝。
我无法访问代理和消费者来进行更改。因此，我只需要在生产者级别进行更改。
浏览 0提问于2020-07-23得票数 0
我正在spring-boot中实现一个端点，当调用它时，它将转储位于kafka主题中的所有消息(用于测试)。我期望的行为是，当生产者向“testTopic”主题写入内容，随后消费者进行投票时，它应该读取刚刚生成的消息。 我观察到的行为是，消费者未能使用生成的消息。此外，如果生产者产生更多的消息(比如10-15条)，那么消费者将一次性丢弃所有消息。从现在开始，如果<
浏览 13提问于2019-05-17得票数 1
回答已采纳
为什么kafka 0.10控制台生产者不能向kafka 0.9发送消息？
我在0.9版本中启动了kafka控制台消费者(在服务器端)。我正在启动0.10版本的kafka控制台生产者(在客户端)。为什么新的生产者不能向旧的消费者发送消息？是否可以将新的生产者设置为一种弃用模式，以便向旧的kafka发送消息？53,365错误
浏览 11提问于2016-08-30得票数 0
回答已采纳
我正在尝试以kafka流消息的形式发送多个.mp4文件。这是否意味着我在生产和消费时需要一个特殊的编码器/解码器/序列化器/反序列化器。我如何配置我的生产者和消费者？
浏览 1提问于2019-03-18得票数 3
1回答
我正在尝试使用node-rdkafka在Kafka上创建一个简单的生产者-消费者流制片人：test [0]: MessageSet with1 message(s) delivered当消息产生时，消费者正在更改偏移量，这一事实使我相信与代理的连接是正确设置和验证的然而，由于某些原
浏览 1提问于2018-11-20得票数 0
但是在我们的应用程序中，我们有一些“遵从性主题”，我们需要确保读取其中的所有消息。由于Kafka内部处理所有消费者的抵消(因此可以监视消费者延迟)，我想知道是否可以设置log.retention=25GB，但不要覆盖没有被任何人读取的消息，而是抛出一个生产者异常(就好像我们设置了log.retention如果无法在Kafka级别上配置这种逻辑，那么在kafka-生产者</e
浏览 0提问于2018-04-04得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
