体系结构:带有单个分区的文件-> imfile -> omkafka -> Kafka主题如果生产者将消息推送到单个分区，则由Kafka保证消息的顺序。因此，似乎omkafka模块混淆了顺序。
浏览 0提问于2019-01-24得票数 0
我知道，storm不保证kafka主题的总排序保证，但在许多文档中，storm保证消费/处理在分区级别保持顺序的消息。我正在寻找一个示例storm拓扑，它消耗/处理kafka主题的消息，在kafka分区级别维护消息的顺序。不是总订单！！只有分区级别的排序保证。
如果您知道任何示例应用程序，请与我们分享。非常感谢！
浏览 3提问于2016-05-27得票数 1
1回答
卡夫卡主题顺序
、、
我有一个使用如下代码的Kafka连接器：ON v.tID = id 322633324107任何帮助理解这个行为的人都会很棒。
浏览 16提问于2019-11-07得票数 2
回答已采纳
1回答
如何使用Apache Kafka生成/消费延迟消息？似乎标准的Kafka (和Java kafka客户端)功能没有这个功能。正如我所看到的: Kafka基于从文件系统的顺序读取，并且只能用于读取主题，简单明了地保持消息顺序。我说的对吗？
浏览 3提问于2017-12-27得票数 10
回答已采纳
这个生产者将读取History表，以找到要选择的表和行，然后将该行添加到Kafka主题中。现在生产者需要确保将事件添加到Kafka主题中，其方式与History表登录的方式相同。因此，使用者读取它们的顺序与它在History表中记录的顺序相同，并在Postgrace上执行它。producer2 has message 6 to 10但是当我消费的时候，我会收到关于如下主题的消息</
浏览 1提问于2019-01-16得票数 0
1回答
考虑到您的生产者为系统的用户创建消息，并且这些消息的顺序在用户级别很重要。我的生产者将消息添加到有两个分区的主题中，我使用针对user_id的散列将每个用户的所有消息放在相同的分区中，以保证顺序。 如何在保持消息顺序的同时，扩展系统并向主题添加更多分区？Kafka如何处理分区前已经生成的消息？消费但未提交回Kafka以更新偏移量的消息会发生什么？
浏览 14提问于2019-03-18得票数 2
我们正在开发一个基于kafka的流系统，在该系统中，生产者将在其主题中生成多个分区，而单个用户将从该主题中消费。我知道kafka在分区内维护消息顺序，但是我们能在主题中的分区之间维护全局消息顺序吗？
浏览 8提问于2016-04-21得票数 7
回答已采纳
我使用KafkaEmbedded (和KafkaTemplate)进行了单元测试，但消息顺序是随机的。有没有人知道这是否合乎逻辑，以及这是否可能是担保顺序？System.out.println("received:" + new String(recordIterator.next().value())); } 例如，此代码打印(但顺序可以更改
浏览 26提问于2019-07-04得票数 0
回答已采纳
1回答
我开发了一个Kafka version : 0.9.0.1应用程序，它不能丢失任何消息。futureRecordMetadata.get但是，由于没有阻塞get()，我无法知道消息是否安全到达。
我知道我可以将一个Callback传递到发送中，并对我进行<e
浏览 0提问于2016-08-24得票数 4
回答已采纳
我正在使用confluent-kafka-dotnet (Confluent.Kafka)为Kafka生成消息。 我想手动管理消息转到哪些分区，以保持某些消息组的顺序。如何获取Kafka主题的PartitionTopic列表？ 我看过Java中的this solution。但我不明白如何用Confluent.Kafka实现同样的功能。或者，可以使用键发送消息，因为可以保证相同的键在相同的分区上。但同样，我找不到一种方
浏览 113提问于2020-07-14得票数 2
回答已采纳
在Kafka中，如果消息处理失败，是否可以设置每条消息的回退时间？-这样我就可以处理其他消息，并在稍后重试失败的消息？如果我把它放回主题前面，它会很快重新出现。我使用的是Kafka和Spring Boot。
浏览 44提问于2020-09-17得票数 1
回答已采纳
在使用SinkTask保存数据时，我希望保证写入顺序。如果我想在我的RetriableException期间抛出一个SinkTask.put()，Kafka Connect会写到数据源无序而不是分区中的顺序吗？例如，如果分区中的消息为1-2-3，如果在写入Message-2期间出现异常，Kafka Connect能否保证消息到达数据源时为1-2-3？据我所知，Kafka写到数据源asynchronously.因此，数据似乎会无序地到达数据源。
浏览 1提问于2017-04-20得票数 4
回答已采纳
我们有发布到Kafka主题的学生数据流，我们的模块必须以流的形式读取学生ids，并从多个来源获取每个学生的关联数据，然后为每个学生执行一些计算，并将每个学生的关联计算发布到kafka主题中。
浏览 2提问于2017-07-14得票数 1
我曾经在流水线上工作过，它以flink为流引擎，kafka为源，因为我们可以在flink中设置并行性，以便从kafka读取消息，这样消息处理可以并行进行，而不是顺序进行。我想知道在pubsub->dataflow中是否也可以这样做，或者它只按顺序读取消息。
浏览 2提问于2019-03-26得票数 0
我读了很多文章，发现Kafka + spark streaming是最可靠的配置。谢谢，Chowdary
浏览 1提问于2016-05-30得票数 0
2回答
我想知道关于Kafka如何维护消息序列的信息/解释，当消息被写入多个分区的topic时。例如，我有多个消息生成器，每个消息生成器都顺序地生成消息，并使用超过1个分区在Kafka主题上进行编写。在这种情况下，消费者组将如何工作来消费消息。
浏览 0提问于2016-12-01得票数 2
"Kafka in a“一文(at )的作者说：
Kafka为数据的一致性和可用性提供了以下保证：(1)发送到主题分区的消息将按照发送的顺序附加到提交日志中；(2)单个使用者实例将按照它们在日志中出现的顺序查看消息；(3)当所有同步副本都将其应用于其日志时，消息将被“提交”；(4)任何已提交的消息都不会丢失，只要同步副本中至少有一个是活着的。第一和第二保证确保为每个分区保留消息排序。请注意，不能保证整个主题的消息<
浏览 2提问于2019-11-26得票数 1
回答已采纳
我正在使用源连接器从数据库中的视图中读取数据，并将其发布到kafka上，它运行良好。我的问题是如何在Kafka连接源连接器中定义消息键？
浏览 1提问于2018-06-21得票数 5
回答已采纳
如果我使用Kafka异步生成器，假设缓冲区中有X个消息。当它们实际上是在客户端上处理时，如果代理或特定分区被关闭了一段时间，kafka客户端会重试，如果消息失败，它会将特定消息标记为失败并转移到下一条消息(这可能导致无序消息)吗？或者，为了保持顺序，它会使批处理中的其余消息失败吗？
我接下来要维持顺序，所以理想情况下想要卡夫卡从失败的地方失败批次，所以我可以从失败点重试，我如何实现呢？
浏览 4提问于2016-02-08得票数 7
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
