我一直在开发的一个应用程序在我们的试运行和生产环境中开始出现问题，似乎是因为Kafka的听众在应用程序启动几个小时后不再从他们指定的主题中读取任何内容。该应用程序运行在云铸造环境中，它有13个@KafkaListener，根据给定的模式读取多个主题。主题的数量是相等的(应用程序上的每个用户使用模式为13个监听器中的每个人创建自己的主题)。主题有3个分区。同时还支持弹性伸缩，最少有2
浏览 22提问于2021-07-26得票数 1
卡夫卡主题的保留期为7天。但我需要将由于保留期而到期的数据推送到新的kafka主题或其他存储中。
那么，在删除数据之前的7天内，有什么方法可以让我访问这些数据吗？
浏览 1提问于2021-12-29得票数 1
1回答
我有一群卡夫卡消费者正在阅读来自卡夫卡主题的事件，这个事件有标签& photoID。在将数据发布到数据库时，是否需要对地图进行锁定并停止消费，并在执行到数据库后清除地图。什么是最好的方法在这里采取，使我的卡夫卡消费者不双重计算。
浏览 4提问于2022-09-26得票数 0
1回答
我们有一个微型服务，可以读取多个卡夫卡主题的记录。对于每个输入主题，我们有一个单独的DLQ主题来存储由于任何原因无法处理的记录(非有效的记录格式、无法使用Avro方案解析记录、无法连接到DB、不能使用REST调用外部微服务等)。Kafka DLQ主题内容应以下列方式处理：
系统尝试每隔三天处理一次事件:进入DLQ后1小时、3小时、6小时、15小时、24小时和24小时(1 +2+
浏览 6提问于2021-12-28得票数 0
我注意到，当我的Kafka流应用程序有一段时间没有阅读来自Kafka主题的新消息时，它就停止工作了。这是我第三次看到这种情况发生。我如何使我的卡夫卡流应用程序更持久的这种情况？它认为卡夫卡流有一个内部的“超时”，之后它关闭了与卡夫卡经纪人的连接，而没有收到任
浏览 0提问于2018-04-05得票数 0
我使用3.3从Oracle数据库中提取数据。一旦数据被推送到kafka服务器，检索到的数据就应该在数据库中删除。
浏览 5提问于2017-11-02得票数 0
回答已采纳
假设我们为一个主题有3个kafka分区，我希望我的事件按小时加窗，使用事件时间。谢谢!
浏览 7提问于2017-08-07得票数 1
回答已采纳
我有一个ConsumeKafka处理器，它可以轮询指定的主题，
这个想法是从卡夫卡的话题中拉出来，把它推到InfluxDB上。但是，有时我会停止我的ConsumeKafka处理器，所以在这种情况下，处理器知道停止之前获取的记录的最后一个状态吗？当我停下来后，会发生什么？停止时间范围内的记录会被忽略吗？
请提供一些指导，因为我是
浏览 1提问于2020-03-03得票数 0
我有一个Kafka流应用程序，它从几个主题中获取数据，并将数据加入到另一个主题中。注:我在卡夫卡经纪人运行的同一台机器上运行卡夫卡流应用程序。
每小时消耗/产生数以百万计的记录。每当我把任何卡夫卡经纪人打倒，它就进入再平衡，它需要大约。30分钟，有时甚至更多的再平衡，并多次它杀死了许多卡夫卡流的进程。
浏览 0提问于2017-09-12得票数 2
1回答
我正在构建一个kafka流应用程序，其中几个主题被合并成一个。卡夫卡流有可能吗？kstream3) .merge(kstreamN) .to(output)
应用程序是单线程的，所
浏览 5提问于2022-04-14得票数 0
回答已采纳
2回答
listener=l, timeout=36000000)
streamer.filter(follow=None,track = setTerms)
2/3小时后，此过程停止。
浏览 3提问于2013-01-06得票数 6
我在我的Windows电脑上运行了和Apache服务器。问题在于Spring应用程序:每当我启动它时，它都会从Kafka读取相同的消息。这意味着偏移量没有被保存。我该怎么解决呢？在卡夫卡的听众bean里，我有当Spring启动时，控制台上打印的使用者配置值如下value.deserializer = class org.apache.kafka.common.serializati
浏览 1提问于2021-06-10得票数 1
回答已采纳
流线程所做的一切就是从kafka主题中获取数据并将数据放入状态存储。(还有其他线程从statestore读取数据并进行业务逻辑处理)。我观察到，由于stateStore，它创造了一个新的卡夫卡主题"changelog“。为什么需要它？，statestore和"changelog“kafka主题之间的关系是什么？是谁把数据放入这个主题？("changelog")
浏览 0提问于2020-05-01得票数 5
1回答
我有一个卡夫卡主题的制作人，它一直在向卡夫卡主题推送一些信息。此外，我还有另一个服务在阅读来自主题的这些消息。可以在不停止和重新启动kafka服务器的情况下对其进行归档。
我正在忙着走。因此，如果kafka支持这样的要求，我是否可以改变消费者的配置，使用sarama GO客户端从最新消息开始消费。
浏览 9提问于2022-09-15得票数 0
1回答
无法确定，我的卡夫卡听众配置有什么问题。首先，我有一个名为“事务”的非空的kafka主题，有几个记录(我可以在KafkaTool中看到它)。factory.setConsumerFactory(kafkaConsumerFactory()); }我的kafka侦听器看起来像(前面提到的主题听不懂卡夫卡的话题。有什么不对的？谢谢。
浏览 1提问于2018-10-16得票数 0
回答已采纳
我有一张卡夫卡桌子，我们把它命名为"MY_TABLE“，它有一个结构……如下所示： "ROWTIME":123456, "id"我是卡夫卡的新手，在这里找到了这个方法：顺便说一下，这
浏览 0提问于2021-04-28得票数 0
在卡夫卡，我在server.properties将留用政策定为3天。主题将retention.ms设置为172800000 (48h)。有什么需要设置的吗？所有的主题都是从当前产生和消费的。
浏览 0提问于2018-02-12得票数 14
回答已采纳
1回答
在核心方面，我们正在使用kafka代理来分发事件。数十种设备都会产生卡夫卡主题的事件(每种类型的事件都有一个kafka主题)，其中事件在google的protobuf中被序列化。我们需要的是，对于一些事件，我们需要应用一些转换，然后将转换输出发布到其他kafka主题。当然，卡夫卡流是实现这一目标的一种方式，。但是，我们不希望每个转换都有一个java应用程序(这会增加项目和开发/部署工作的复杂性)，而且将所有流放在一个应用程序中是不正确的(修改一个流将需要<em
浏览 6提问于2021-03-20得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
