storm-kafka集成错误

apache-kafka、apache-storm

我得到了下面的错误: curator jar引用的是服务器类路径，这是mapr lib，它包括curator jar。我不会在最终的可执行jar中打包管理员jar。

浏览 19提问于2017-12-11得票数 1

2回答

java.lang.ClassNotFoundException: kafka.api.OffsetRequest

apache-kafka、apache-storm

当我尝试将Kafka集成到我们的暴风拓扑时，我得到了错误的java.lang.ClassNotFoundException kafka.api.OffsetRequest。</dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-kafka

浏览 0提问于2015-07-20得票数 4

1回答

Storm-kafka-mongoDB集成

mongodb、apache-kafka、performance-testing、apache-storm

我正在从Kafka producer continuous读取500MB随机元组，在风暴拓扑中，我使用Mongo Java驱动程序将其插入到MongoDb中。问题是我得到了非常低的吞吐量，每秒4-5个元组。在没有DB insert的情况下，如果我编写一个简单的print语句，我会得到每秒684个元组的吞吐量。我计划运行来自Kafka的100万条记录，并使用mongo insert检查吞吐量。我尝试在kafkaconfig中使用配置setMaxSpoutPending和setMessageTimeoutSecs参数进行调优。 final SpoutConfig kafkaConf =

浏览 25提问于2019-03-06得票数 0

2回答

在Kafka Spout中使用新的Kafka版本2.1.0和Apache Storm 1.2.2获取ClassNotFoundException

apache-kafka、apache-storm

在使用新的Kafka版本2.1.0和Storm版本1.2.2开始使用Kafka Spout开始拓扑时，获得了一个java.lang.ClassNotFoundException: kafka.api.OffsetRequest。当我使用Kafka版本0.10.0.1时，我没有得到这个。你们能帮帮忙吗，因为我想上最新的Kafka版本？我已经尝试了所有最新的kafka版本，从2.*开始。但不是works.Caused by: java.lang.ClassNotFoundException: kafka.api.OffsetRequest

浏览 16提问于2019-02-07得票数 0

回答已采纳

1回答

kafkaSpout未发出消息

java、apache-kafka、apache-storm、apache-storm-topology

我可以用本地集群运行storm Kafka，但不能用storm Submitter运行下面是我的拓扑代码package com.org.kafka; import org.apache.storm.LocalCluster;import org.apache.storm.generated.AuthorizationException; import org.apache.storm

浏览 6提问于2018-01-24得票数 0

1回答

Apache Storm - "mvn全新安装“时出错

maven、hadoop、bigdata、pom.xml、apache-storm

我想从运行示例"storm-starter“SUCCESS [ 11.801 s] [INFO] storm-kafka ........................................execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project storm-kafka

浏览 0提问于2015-02-17得票数 1

2回答

风暴: Kafka到HDFS -依赖jar问题

hadoop、hdfs、apache-kafka、apache-storm、kafka-consumer-api

我构建了一个风暴拓扑，它使用kafka的数据并写入hdfs。<storm.version>0.10.0.2.3.4.0-3485</storm.version>拓扑正在失败，但有以下声明的例外情况： java.lang.NoSuchMethodError: kafka.javaapi.consumer.SimpleConsumer.<init>(Ljava/lang/String;IIILjava/lang/String

浏览 5提问于2016-09-17得票数 0

回答已采纳

1回答

创建具有消费者组id的KafkaSpout

apache-kafka、apache-storm、kafka-consumer-api、kafka-producer-api

从一段时间以来，我一直在尝试了解如何创建一组订阅单个主题的kafkaspout。我发现一些引用spoutconfig中的id的来源可以用作组id。我的主要问题是如何知道创建的spout是否作为一个组。我还想知道setSpout()中的paralellism_hint是不是创建了一组paralellism_hint数量的喷嘴。请给我开导一下。private KafkaSpout buildKafkaSpout(String zkTopic, String zkRoot, String groupId) { String zkConnString = "

浏览 0提问于2016-10-17得票数 0

1回答

如何让第一个Storm Kafka演示程序工作？

apache-kafka、apache-storm

-- https://mvnrepository.com/artifact/org.apache.storm/storm-kafka --> <artifactId>storm-kafka</artifactId> <version

浏览 14提问于2019-06-16得票数 1

回答已采纳

3回答

如何找到在特定类文件中拉入的依赖项？

maven、apache-storm

公共依赖项storm-kafka具有新版本1.0.2和旧版本0.10.0ls ~/.m2/repository/org/apache/storm/storm-kafka/# no 0.10.0 herewill not be available,

浏览 3提问于2016-09-13得票数 17

2回答

apache-storm

作为我们升级的一部分，我们不得不将storm-kafka的版本也改为1.0.2apache-storm-1.0.2/bin/storm我甚至从我的子依赖项中排除了所有storm-kafka版本，然后在storm-kafka上添加了一个显式依赖项，但这并没有改变什么。flux-core: ~/.m2/repository/org/apache/storm/sto

浏览 9提问于2016-09-13得票数 1

0回答

Storm-Kafka : java.lang.NoClassDefFoundError: com/google/common/base/Strings

maven、apache-kafka、apache-storm

Kafka Dependency --> <groupId>org.apache.storm</groupId> at java.lang.ClassLoader.loadClass(ClassLoader.java:357) google的常见依赖是storm-kafka我已经将

浏览 5提问于2016-12-30得票数 1

2回答

重新启动Storm时再次处理卡夫卡的所有预处理记录

java、apache-kafka、apache-storm

我正在阅读卡夫卡消费者的数据到风暴喷口。但是，当我重新启动Storm时，它也会读取之前处理过的Kafka记录。在重新启动时，我不想处理以前处理过的记录。这是我的代码： public static void main(String[] args) throws Exception {

浏览 0提问于2019-08-25得票数 2

回答已采纳

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

storm-kafka集成错误

相关·内容

在Storm Spout中，命名消费者组