1回答
我对kafka还是个新手。我已经用java创建了一个示例生产者和消费者。使用producer，我可以将数据发送到kafka主题，但无法使用以下消费者代码获取主题中的记录数量。properties.put("group.id", groupId);
properties.put("key.deserializer", "org.apache.kafka.common.serialization.St
浏览 18提问于2017-08-11得票数 1
3回答
我需要在一个卡夫卡主题存储的消息数量。这与是否有消费者消费了消息无关。kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092,localhost:9093,localhost:9094--topic test-topic
上面给出了主题的偏移量？以上数据是否等于kafka topic当前存储的消息数？
浏览 0提问于2018-08-23得票数 0
因此，当我寻找一种方法来计算主题中的消息时，这个方法很好唯一的问题是，当我将retention.ms配置更改为retention.ms=1000，甚至通过运行kafka-topicskafka.tool
浏览 177提问于2018-07-31得票数 1
回答已采纳
我有一个kafka主题，在这个主题中，我必须使用Java查找主题中显示的消息数量和出现在主题中的分区数
浏览 5提问于2021-07-28得票数 0
回答已采纳
因此，假设一个列表不会很大--几十万项，我想使用一个带有键的信息的Kafka主题，其中键是userId，以保持该列表的当前状态，管理应用程序将在发生更改时向该主题发送新的用户对象。因此，当服务器启动时，只需从一开始就读取该主题中的所有内容，并填充它的缓存。根据到Kafka的连接，人口阶段大约需要20-30秒，因此服务器不需要在线，直到它读取主题中的所有内容才有最新的缓存(主
浏览 3提问于2015-11-18得票数 3
回答已采纳
我使用的是Axon版本(3.3)，它在SpringBoot主类中使用在我们的用例中，命令端微服务需要从kafka主题中挑选消息，而不是将其公开为Rest api。它会将事件存储在事件存储中，然后将其移动到另一个kafka主题，供查询端微服务消费。
由于KafkaAutoCOnfiguration被禁用，我不能使用spring-kafka
浏览 18提问于2019-07-12得票数 0
我有一个Kafka消费者，它在给定的获取间隔内获取代理。它是以给定的时间间隔获取的，当消息存在于主题中时就很好了。但是我真的不知道为什么在kafka主题中没有消息的情况下，消费者会发送更多的fetch请求。
浏览 1提问于2020-02-29得票数 0
我正在尝试列出所有组I中的所有主题，每个主题中的消息总数，但在任何地方都找不到这样的命令。尝试了以下2个命令，但期望在单个命令中得到以下命令的结果。请帮帮忙。命令1：(列出Kafka服务器中的所有主题)命令二：(了解Kafka服务端的topic总消息数</
浏览 2提问于2017-12-15得票数 0
我正在使用spring和Kafka来使用Kafka主题中的数据。我已将并发数配置为10。因此，不同的线程轮询代理以获取消息并处理这些消息。即使在经过一段时间(成功处理)之后，我们仍会将相同的消息返回给消费者的不同线程。我们能够在已配置的max.poll.interval.ms=1500000中处理收到的消息。请查看下面配置<em
浏览 24提问于2020-04-24得票数 0
我想从服务器获得从主题开始的所有消息。例如：
当使用上面的控制台命令时，我希望能够从一开始就获取主题中的所有消息，但是我无法使用java代码从一开始就使用主题中的所有消息。
浏览 4提问于2016-08-12得票数 13
回答已采纳
我们使用Apache kafka和Datatorrent来处理消息。有没有办法通过shell命令行查看kafka主题中的无消息？
谢谢
浏览 0提问于2016-10-12得票数 0
我有一个Kafka集群，它的主题每天接收数千条消息，我想看看每天有多少条消息进入该主题。我正在使用JMX exporter获取一些指标，目前我可以看到主题中的消息率，但不知道如何解决这个问题。这是我用来获取每秒消息量的公式：sum without(instance)(rate(kafka_server_brokertopicmetrics_messagesin_total{job=
浏览 81提问于2019-06-01得票数 0
2回答
我试着从kafka那里通过密钥获取消息。我发现唯一的解决方案是使用StateStore，但我认为这可能不是一个好主意。如何从kafka主题中获取按键消息？
浏览 20提问于2018-09-05得票数 13
回答已采纳
1回答
我无法在文档中找到一个命令来执行此操作？转到脚本：问题是在主题中找到当前消息的实际数量。我可以用以下方式显示消息总数： --broker-list $KAFKA_BOOTSTRAP--topic $TOPIC --time
浏览 1提问于2018-05-10得票数 1
我正在尝试在给定的Kafka主题中绘制每单位时间(分钟或小时)接收的新消息的数量。 我曾经看到过关于在一个主题中查找当前消息数量的帖子。作为一个潜在的解决方案，我可以在每个时间间隔查询这个数字，但是，这不会考虑过期的消息(由于保留时间)。 有没有办法获取单位时间内kafka主题接收的新消息数量？
浏览 7提问于2019-03-14得票数 0
我想在外部数据库中做所有的有状态操作，而不是RocksDB，为了做任何需要有状态操作的地方，我编写了自定义处理器，它将进行DB操作，context#forward方法将键值对witten转发到DB到下游消费者
浏览 0提问于2019-09-07得票数 0
我正在尝试使用GetKafka处理器获取消息，但我无法获取。我使用Kafka命令行消费者测试了消费消息，它起作用了。我还能够成功地使用PutKafka processor将消息放入主题中。附加了我设置Zookeeper连接字符串和主题名称的设置。当我运行流时，我在处理器中看不到任何错误。WARN [70e1df87-6097-4ed0-9a40-7e36f9be6921_mydomain.com-1470231250839-1fbd0
浏览 1提问于2016-08-03得票数 0
我有一个要求，我想要采样一个kafka主题(用于检查其数据质量等)，然后触发到它上的流作业。采样的参数之一可以是消息的数量。我引用了"http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html#creating-a-kafka-source-for-batch-queries不可能从其中读取前N条消息</
浏览 32提问于2020-07-27得票数 1
“我正在做一个Kafka集成，我可以发布和读取主题中的消息。我可以将消息发布到主题，但无法使用入站终结点读取这些消息。当我查看WSO2文档时，他们建议使用非常旧的Kafka kafka_2.9.2-0.8.1.1。我们不能将最新版本的Kafka与Micro Integrator一起使用吗?请给我建议。”
浏览 12提问于2020-01-04得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
