我们有一个使用kafka作为输出的spark批处理应用程序。有没有办法监控Kafka在使用spark时的消费群体滞后？我们查看了spark文档，发现spark总是创建一个随机的groupId，并使用检查点目录来控制偏移量。你们有没有推荐一种方法或应用程序来衡量这个过程的滞后？我们找不到做这件事的方法。
浏览 16提问于2019-11-29得票数 1
回答已采纳
我是spring-卡夫卡版本2.2.7-发行，写卡夫卡听众(作为消费者)，并试图理解，如果我们有任何选择在春季-卡夫卡直接列出所有订阅/注册的消费者的详细信息，如消费者群体，消费者滞后抵消等？
浏览 0提问于2019-11-01得票数 0
回答已采纳
3回答
我需要实现卡夫卡消费者在火花流的火花1.0。我写过卡夫卡制作人。有谁能帮我写一个火花接收器来提取卡夫卡的信息吗？另外，我能知道如何在Intellij IDEA中运行kafka星火流项目吗？
浏览 1提问于2014-09-10得票数 1
回答已采纳
我正在使用Kafka 0.9.1新的消费API。使用者被手动分配到一个分区。对于这个消费者，我希望看到它的进步(意思是滞后)。kafka-consumer-groups.sh --new-consumer --describe --group consumer-tutorial --bootstrap-server localhost:9092不幸的是，我的使用者组详细信息没有使用上面的命令显示。因此，我无法监控我
浏览 4提问于2016-06-09得票数 1
回答已采纳
我试图利用直接的kafka使用者(python中提供的新功能)，从我在localhost上运行的一个定制Kafka生产者中捕获数据:9092。我目前正在使用spark 1.6示例脚本提供的"direct_kafka_wordcount.py“。spark-streaming-kafka-assembly_2.10-1.6.0.jar 不幸的是，我得到
浏览 2提问于2016-02-27得票数 5
回答已采纳
2回答
卡夫卡消费者的火花流
、、、、
我可能需要和卡夫卡合作，而且我对此完全陌生。据我所知，卡夫卡的制片人会将日志(称为事件或信息或卡夫卡中的记录)发布到卡夫卡的主题上。提前谢谢！！
浏览 1提问于2016-07-01得票数 5
回答已采纳
3回答
我是卡夫卡的新手。在对卡夫卡的研究中，我认为监测消费者的滞后是必要的。当我从谷歌和文档中搜索时，我找不到什么方法。(我不明白这是什么)kafka- datadog我想问的是文件上说洞穴是用于监视的，我能像图表(仪表板)一样可视化吗？没有其他工具，如石墨树、基巴纳或datadog??。
我只是想少走几步路。想象消费者</e
浏览 3提问于2020-08-05得票数 1
流动：-akhq用户界面显示总是滞后1，即使所有消息都是有效消息。所有的信息都会被消耗掉。是因为连接器没有"isolation.level“作为"read_committed”，目前是"read_uncommited“。滞后情况如下图所示。我也见过一个与卡夫卡相关的bug，它与此有关吗？
浏览 8提问于2021-06-14得票数 0
回答已采纳
在启动Spring数据流流时，由于与Kafka相关的各种错误，应用程序常常无法在我的机器上部署。但我也看到了这个：kafka.admin.AdminOperationException: replication factor: 1 larger than available brokers: 0
在这两种情况下，卡夫卡进程都在运行(以及ZooKeeper)，因此我假设存在某种超时阈值。有什么办法可以影响卡夫卡客户放弃并假定经纪人离开的时间吗？
浏览 2提问于2016-10-04得票数 2
回答已采纳
我们是卡夫卡的制作者，为一个只有一群消费者消费的主题制作信息。消费者的速度有很大的不同。我们总是有一定数量的消费者滞后作为缓冲。生产者是否有可能知道使用者组的每个分区的滞后，并首先以最低的延迟向分区生成消息？如果我使用C/C++客户端或Java客户端，是否有可能？
谢谢。
浏览 4提问于2020-01-13得票数 0
回答已采纳
1回答
kafka-topics.sh --zookeeper localhost:2181 --delete --topic T.AB_KAFF
组，主题，分区，当前偏移量，日志端偏移量，滞后，所有者G.AB_KAFF，T.AB_KAFF，0，5，1，-4，消费者-3_&#
浏览 2提问于2016-06-08得票数 0
1回答
我有一个主题，其中一个消费者组正在进行投票。我注意到，有时，当一个消费者重新启动时，话题的滞后会立即变成一个更高的数字。经过一些研究，我得出结论，卡夫卡重新启动偏移量，但我不明白为什么。auto.commit.interval.ms = 5000log.retention.hours=168
延迟通常非常低(低于500)，并且在几毫秒内被消耗，所以它不可能是范围外的索引
浏览 4提问于2018-11-19得票数 0
有人能给出一个用例，我们应该直接使用星火流，我们应该去哪里与卡夫卡/水槽集成？
浏览 4提问于2017-06-27得票数 1
回答已采纳
自从kafka 0.8.2.0以来，似乎很难跟踪消费者的滞后和话题大小。
你如何追踪卡夫卡的偏移量(主题大小)和滞后？当生产者插入消息时，会在某个地方增加计数器吗?我正在使用 --但是关于主题大小的所有指标都是0，因为某种原因，这可能是它们的bug报告，但是您是如何做到的呢？我们的消费者和生产者是用用python编写的，他们说他
浏览 6提问于2015-03-03得票数 2
回答已采纳
1回答
监测酒吧/分局服务
、、、、
对于每一个在Kafka/Redis中读/写/写主题的服务，我们希望在Prometheus中有一些基本的度量标准：
每个主题的读取速度有多快？在卡夫卡，我可能想确定如何“快”每组-id阅读。为了确定从主题中读取信息的“速度”，人们可以想到这样一种机制:某人以10秒的间隔发布相同的消息，用户在完全处理该消息时发送给Prometheus。如果图表显示消息每12秒读取一次，这意味着我们在读取任何
浏览 7提问于2021-02-02得票数 0
回答已采纳
1回答
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper <my-zookeeper> --group my-group我该去哪看看？卡夫卡似乎是一个问题，但也可能是一个消费者问题，任何想法都欢迎。提前感
浏览 0提问于2018-06-14得票数 2
关于限制/节流卡夫卡消费者，有许多古老的话题。
浏览 11提问于2022-05-17得票数 0
回答已采纳
2回答
我附加了一个基本的模式:我有一些传感器连接到raspberry pi 3，我想可以用mqqt代理来处理这个链接，比如蚊子。但是，我想收集关于覆盆子的数据，做一些事情，并将它们转发到一组商品硬件中，以执行与Spark或Storm的实时推理(对于哪一种？)然后，这些数据必须存储在NoSql db (可能是Cassandra或HBase )中，供Hadoop集群访问，以执行批处理推理、对它们进行语义数据丰富并在同一db上重新存储。因此，客户端可以查询系统提取有用的信息。
我应该在红砖上使用哪种技术？我的
浏览 2提问于2017-04-27得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
