我有一个9个分区的Kafka主题，即使我使用9个消费者，并将流间隔设置为1秒，我仍然没有看到机器的资源投入太多努力，CPU甚至低于10% (对于8核，16 is )。是否还有其他我应该尝试修改的属性？提前谢谢。
浏览 25提问于2019-11-29得票数 1
我试着将一些实时指标从kafka放到clickhouse，我的查询如下所示
CREATE TABLE queue2 (timestamp String, namespace String, data Float, unit String, plugin_running_on String, version UInt64, last_advertised_time String) ENGINE = Kafka('10.224.54.99:9092', 'outtopic1',
浏览 27提问于2018-01-03得票数 0
回答已采纳
出于测试目的，我必须将数据从Clickhouse服务器推送到Kafka。我已经尝试过使用Confluent JDBC连接器，但效果不是很好。看起来Clickhouse- Kafka -Engine只在Kafka -> Clickhouse方向上工作，所以Clickhouse-server作为消费者工作。在Clickhouse中使用Table作为生产者有没有一个方便的方法，或者我有没有自己写生产者？
浏览 3提问于2018-12-30得票数 1
我正在使用kafka-python-2.0.1来消费来自kafka代理的数据。到目前为止，我只运行了一个消费者实例。我们每5分钟就会收到2M条记录。我注意到kafka-python不能以更快的速度读取数据以及时消费所有消息。我是kafka-python的新手，不确定如何实现才能更快地读取数据。我应该运行多个使用者吗？='SASL_SSL', sasl_mechanism = 'GSSAPI',
浏览 31提问于2020-11-06得票数 0
1回答
我有一群卡夫卡消费者正在阅读来自卡夫卡主题的事件，这个事件有标签& photoID。我希望将这些标签路由到多个kafka消费者，这些用户将维护一张hashtag地图及其计数，并每隔一分钟将其发布到数据库。
我是用java写的。什么是最好的方法在这里采取，使我的卡夫卡消费者不双重计算。
浏览 4提问于2022-09-26得票数 0
:2181 clickhouse-03.cli:39656 ESTABLISHED 从运行kafka-python的容器Telnet到broker： root@f10fe1b58fa9:~#来自telnet的Kafka错误： kafka_1 | [2019-06-23 13:38:05,350] WARN [SocketServer brokerId=1019] Unexpected我开始确保容器中的KAFKA_ADVE
浏览 257提问于2019-06-23得票数 1
在数据交换中，当您为clickhouse选择驱动程序时，您只能选择旧的废弃(ru.yandex)驱动程序。我不知道如何使用最新的(com.clickhouse)驱动程序。不推荐Maven groupId ru.yandex.clickhouse和遗留JDBC驱动程序ru.yandex.clickhouse.ClickHouseDriver。请使用新的groupId com.clickhouse和com.clickhouse</
浏览 26提问于2022-03-10得票数 0
我有两个(以及更多) Kafka主题，我需要加入他们。我的问题来自我在博客/StackOverflow上读到的内容...有两个选项： 1)将它们都流式传输，Clickhouse Kafka引擎/spark流，然后运行join，这在Clickhouse中是不推荐的2)构建一个包含所有列的表，并使用Clickhouse引擎/spark streaming更新相同的入口？ 任何建议
浏览 22提问于2019-03-06得票数 1
在我的工作中，事实表存储在ClickHouse中，维度表存储在MySQL数据库中，因此使用MySQL数据库引擎来连接ClickHouse和MySQL数据库。从ClickHouse SQL运行日志中，我可以发现ClickHouse将从MySQL数据库中获取所需的数据并进行聚合。我的问题是，ClickHouse从MySQL数据库获取数据的模式是什么？正确的ClickHouse是获取查询中所需的<
浏览 59提问于2020-11-27得票数 0
2回答
在试图深入了解卡夫卡发行模式的同时，让我感到兴奋，我无法得到确认，也无法否认。
因此，您拥有的订阅组越多，性能就越低，因为kafka需要将消息复制到所有这些组，并保证全部订单。据我从Kafka文档中了解到，多个消费者群体的行为类似于单一消费者。代理内部不存在复制，因为每个使用者对于某个分区都有自己的偏移量。那么，组的数量不应该增加任何开销，所有的数据都在一个位置上，只有偏移量是不同的。对吗？如果这是正确的<
浏览 3提问于2016-02-09得票数 7
回答已采纳
3回答
我有一个系统，有数以百万计的活动客户端向我的后端发送日志。我目前的日志管理系统使用Kafka-HDFS-钻机基础设施，但我在钻-HDFS交互方面遇到了很大的麻烦。我试图实现的功能是保存日志，并通过一些过滤器为一个客户端请求日志。假设客户群在增长，系统应该具有合理的可伸缩性。那么，存储客户机日志的最佳实践、工具或框架是什么呢？我们现在拥有的是:在Ubuntu16.04上运行的AWS中的6个中产阶级实例，我们不应该用完它
浏览 0提问于2016-10-26得票数 2
我使用的是1.5.4 spring boot，java 8和kafka 2.2.0版本。我有5个代理和4个不同的主题，每50个分区。我有两三百万张唱片。我出口这些记录的2500,2500部分上的每个卡夫卡消息。我的意思是1条kafka消息由2500条记录组成，但我使用的是相同的键，这意味着所有这些记录都会进入相同的分区。假设我使用key作为A
我的问题是，如
浏览 0提问于2019-11-14得票数 0
我不明白它意味着什么，也不明白如何解决它。Clickhouse版本21.7.2.7 kafka_topic_list = 'topic',
浏览 21提问于2022-02-16得票数 0
回答已采纳
我是卡夫卡的新手。我已经使用spring boot编写了一个kafka消费者应用程序。此应用程序使用来自kafka的消息，对其进行处理并将其存储在数据库中。现在，我想为这个消费者应用程序编写性能测试。这个测试应该告诉我消费者应用程序的性能，比如在特定负载下处理消息需要多长时间。
我早些时候使用Gatling编写了性能测试，其中我们有端点。因此，如果我知道如何为这个应用程序或任何指针
浏览 0提问于2019-02-28得票数 0
我在向clickhouse插入数据时遇到了性能问题。我们每批插入100,000行，间隔时间是30s，但是由于分区键字段的基数很大，所以会插入100,000行到2000+分区中，这时就达到了iops的上限150，即使我们把ebs的iops上限提高到2000如果无法减少分区数，如何降低iops？clickhouse的版本是20.5，提前谢谢！
浏览 35提问于2020-08-05得票数 0
回答已采纳
2回答
spark流中奇怪的延迟
、、、、
我最近一直在使用spark streaming来处理kafka中的数据。大多数情况下，数据处理在1-5秒内完成。然而，在几个批次之后，它连续花费了41 ~ 45秒，并且大部分延迟发生在从stage0获取数据的区域。我意外地发现Kafka的request.timemout.ms默认设置为40秒，并将此设置更改为10秒。实际处理时间为1-5秒。我的环
浏览 2提问于2017-01-18得票数 4
基于Kafka文档:可以通过拥有一个具有多个分区的主题，然后创建一个最多具有与分区数量相同数量的消费者实例的消费者组，来提高Kafka中的吞吐量。这样，每个使用者实例都被分配了自己的分区。我可以创建一个具有多个分区的主题，然后配置flume-kafka-channel以使用该主题。然而，不管主题有多少个分区，flume-kafka-channel只创建一个
浏览 31提问于2019-05-30得票数 1
为了获得最佳性能，ClickHouse中的数据实体结构应该具有什么级别的规范化？
假设我有一个会话实体，它的内部有一个Channel实体，其中包含一堆字段。在MongoDB中，你可以以一种非规范化的方式来嵌套它们。在ClickHouse中，是否建议将此类字段反规范化到会话表中？大小的增加会有明显的影响吗？由于不需要连接，查询的性能会显著提高吗？
浏览 0提问于2018-07-11得票数 1
1回答
我试图从Vert.x迁移到Quarkus，在Vert.x中，当我写像Kafka/AMQP这样的消息消费者时，我必须缩放垂直的数量，以最大限度地提高多核的性能，即垂直缩放--这在Quarkus中是可能的吗例如，使用Kafka，我可能在一个垂直的内部创建一个消费者，然后在执行性能测试后，创建一个垂直表示10次的 (即指定部署中的实例数为10
浏览 4提问于2021-09-06得票数 1
回答已采纳
1回答
我在一个具有56 on和750 on磁盘的VM上安装了一个单节点Kafka，只有一个代理。，主题分区和消费者之间有1:1的对应关系(实际上我有一个分区和一个消费者)。对于一个特定的主题，我有10个分区和10个消费者，希望处理速度能提高10倍(并行消费和推送)。
吞吐量在每个消费者之间分配，可能每个消费者每秒大约有20条记录。我认为这可能会发生的唯一原因是Kafka资源已经达到了一些
浏览 0提问于2018-03-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
