假设我们有一个包含5个分区的inData主题，其中包含合同数据和contractId作为键。我有一个Kafka streams应用程序的3个实例，它计算合同的数量。现在，我想在我的Kafka streams应用程序中实现合同总数。现在我读到每个流应用程序只被分配到一个分区。这意味着，Kafka streams应用程序的每个实例只
浏览 8提问于2020-02-18得票数 0
回答已采纳
Kafka在0.10版本推出了Stream API，提供了对存储在Kafka内的数据进行流式处理和分析的能力。小白一名，各位大佬能给我解释一下流式计算、Kafka Streams的特点和架构吗？谢谢！
浏览 2206提问于2018-09-14
2回答
Kafka多分区排序
、、、
我知道在Kafka中不可能对多个分区进行排序，并且分区排序只保证组内的单个使用者(对于单个分区)。然而，在Kafka Streams 0.10中，现在可以实现这一点吗？如果我们使用时间戳特性，使得每个分区中的每个消息都保持顺序，那么在消费者端，假设使用Kafka Streams 0.10，现在这是可能的
浏览 0提问于2016-09-19得票数 8
2回答
一般来说，我有一个关于流媒体的问题，但为了这个问题的范围，让我们用Kafka Streams来限制自己。让我们进一步缩小范围，将我们的问题限制为只计算字数，或者可能计算一般的字数。假设我有一个由一些键和一个值组成的流，key可以是一个字符串(假设我们可以有许多字符串，除了空字符串，由世界上任何字符组成)，而value是一个整数，现在我们正在构建一个单词统计应用程序，如果词汇表中的单词总数是万亿，我们就不能将它们存储在某个本地缓存<em
浏览 3提问于2019-04-18得票数 1
1回答
我正在开发一个使用Akka Kafka连接器的Kafka消费者应用程序。我希望消费者并行处理消息。我应该选择哪个消费群体？？如何在消费者端配置并行度？
浏览 16提问于2020-05-06得票数 0
我们有两个压缩的主题，每个主题都包含to的数据，我们希望使用Spring和Kafka流加入这些主题。为了避免在Kafka中复制To级的数据，我们的第一次尝试是使用KStream作为输入，然后按如下方式将它们转换为KTable： Materialized
.，这些主题似乎是无用的。在某些情况下，我们观察到rocksDB文件(位于/tmp/kafka-streams<
浏览 2提问于2021-08-13得票数 0
回答已采纳
1回答
我有一个简单的基于Kafka流的Spring应用程序，它使用来自传入主题的消息，进行map转换并打印这条消息。配置如下的KStreampublic KStream<?, ?这里的问题是，在流应用程序中，如果在以前的处理过程中发生了任何错误，还可以重新处理消息吗？根据我目前的研究，我没有办法这么做，我唯一的可能就是把这条消息推到死信的话题里，然后在将来尝试处理它，如果它再次失败，我再把它推到DLT，
浏览 1提问于2019-05-28得票数 0
回答已采纳
1回答
是否有一种方法来指定运行在KSQL上的KSQL查询应该使用的线程数？换句话说，查询的并行性。
在KSQL上可以运行的应用程序数量是否有任何限制？何时或如何决定扩大规模？
浏览 1提问于2019-07-07得票数 2
回答已采纳
我们能通过Kstream应用程序中的代码来控制使用者组中的消费者数量吗？它会是8个实例*20个线程=160个使用者吗？
浏览 3提问于2022-09-25得票数 -1
回答已采纳
我尝试过各种教程，但对Kafka streams的两个方面不太清楚。", 这里有几个问题：
1.)因为在原始流中没有键，所以两个单词可以在两个不同的节点结束，因为它们可能落在不同的分区中，因此真正的计数将是它们的聚合。好像不是在这里做的？为同一主题的分区提
浏览 0提问于2019-05-08得票数 1
2回答
我有一些基本的Kafka流代码，可以从一个主题读取记录，进行一些处理，并将记录输出到另一个主题。如果它是单线程的，我希望选择多线程处理来处理大量数据。
如果它是多线程的，我需要了解它是如何工作的，以及如何处理资源，比如SQL数据库连接应该在不同的处理线程中共享。相对于其他选项(Spark、Akka、Samza
浏览 1提问于2016-10-12得票数 27
回答已采纳
我们正在使用低级处理器API开发一个Kafka Streams应用程序。 根据Kafka上的文档，所有的线程和并行性都是由Stream线程和流任务处理的。使用主题上的分区，并行性也是可扩展的。这意味着使用Kafka Streams API主要用于消费主题中的数据，而不是用于实际处理。实际处理将在Kafka流线程的初始数据消耗之后调用的新线程中进行
浏览 15提问于2019-05-29得票数 2
假设我在Kafka Streams应用程序中有一个内存缓存。输入主题有2个分区，因此为了获得最大的并行性，我使用2个线程配置了1个streams应用程序实例。在我的流处理器中，我进行远程调用来获取一些数据，并将其放入Map中以对其进行缓存。由于Kafka streams将为每个任务分配一个线程，并且两个任务将尝试并行更新缓存的map，我是否需要注意确保缓存的map线程的</
浏览 9提问于2020-07-26得票数 0
我的代码是在KTable上应用一个groupBy，后跟一个计数： .groupBySerialized.with(AggregationFields.getSerde(), Serdes.Long())) .toStream();
在我的生产环境中，我有时会在启动这个应用程序时看到计数产生负数，即使
浏览 1提问于2018-07-12得票数 0
我已经将state.dir配置为/tmp/kafka-streams值(这是默认的)。当我使用"docker“启动这个容器时，我将/tmp/kafka-streams挂载到我的主机上的一个目录，例如，/mnt/storage/kafka-streams。因此，当启动我的Docker容器时，我看到有一个包含分区号的
浏览 9提问于2022-06-01得票数 0
我们开始使用Kafka streams，我们的服务是一个非常简单的无状态消费者。
我们对延迟有严格的要求，当消费群体重新平衡时，我们面临着过高的延迟问题。在我们的场景中，重新平衡将相对频繁地发生:滚动更新代码，扩展/缩减服务，容器被集群调度器洗牌，容器死亡，硬件故障。我们最关键的指标是延迟，我们将其度量为发布者中的消息创建和订阅者中的消息消耗之间
浏览 3提问于2019-01-16得票数 4
我想根据消费者记录密钥列出kafka主题。现在我有了消费者，并且基于我正在处理记录的条件 containerFactory = "kafkaListenerStringContainerFactory//do some processing //do some processing有没有可能有
浏览 4提问于2020-01-09得票数 0
我有点搞不懂这在概念上是如何运作的。
kafka流如何保证由kafka broker分配给它的分区与分配给其他主题的分区匹配？好像需要协调一下吗？而且，卡夫卡流总是从一开始就阅读压缩的主题，还是从最新的偏移量中读取？一旦它从压缩的主题中读取消息，它是否提交偏移量？
浏览 2提问于2020-07-31得票数 0
回答已采纳
我有一个使用kafka streams的spring boot应用程序(kafka docker镜像：wurstmeister/kafka:2.12-2.1.1，kafka依赖：org.apache.kafka:kafka-streams:2.4.1)。在kafka文档中，1个分区只能由1个消费者读取，1个消费者可以从多个分区读取。如果
浏览 1提问于2020-05-22得票数 0
2回答
春季卡夫卡消费者无法消费唱片
、、、、
我们有时会遇到应用程序启动的问题，即使有足够多的未读消息，它也不会消耗任何记录。相反，我们不断地看到信息日志说。但是，开始使用记录可能需要多长时间，这是非常不可预测的：我们使用的是2.2.2的Spring，because Spring引导2.1.2。2.because Kafka 0.10.0.1 (我们知道
浏览 0提问于2019-07-11得票数 3
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
