spark-submit --jars spark-streaming-kafka-0-8_2.11-2.4.4.jar direct_approach.py localhost:9092 new_topic我运行了上面的代码，但我不知道为什么会出现这个错误。下面是错误： (tutorial-env) (base) harry@harry-badass:~/Desktop/twitter_project$ spark-submit --jars spark-streaming-kafka</em
浏览 67提问于2019-12-14得票数 1
回答已采纳
1回答
我试图运行示例目录中给出的python火花流作业-
Counts words in UTF8 encoded, '\n' delimited text received from the networkexample external/kafka-assembly/target/scala-*/spark-streaming-kafka
浏览 4提问于2017-09-20得票数 1
回答已采纳
在我的代码中执行以下命令时：但我得到了以下错误：
Exception in thread "Thread-3" java.lang.NoClassDefFoundError: kafka</
浏览 0提问于2016-03-10得票数 5
topicAndPartition = new TopicAndPartition(topic, i);KafkaConsumer<
浏览 3提问于2016-11-25得票数 0
我的生产代码运行得很好，但是我的集成测试抛出了SecurityProtocol的ClassNotFoundException。> </dependency>java.lang.NoClassDefFoundError: org/apache/kafka/common/security/auth/SecurityProt
浏览 0提问于2018-02-16得票数 6
回答已采纳
当我在Cloudera Yarn环境中使用星火提交命令时，我得到了这样的例外：spark-submit --master yarn-cluster \ --executor-coresHDFS_PATH/metrics.properties
浏览 1提问于2016-09-02得票数 1
回答已采纳
我所要做的就是它会从生产者那里得到消息，然后这些数据会在风暴中被处理，之后会保存到Cassandra.All中，但是问题是，每当我增加maxreads值时，kafka消费者就会进入无限循环，并且数据处理和保存到当producer发送消息时，它获取并将此元组提供给storm bolt，当producer停止时，consumer进入停顿状态，当一段时间后，如果producer发送消息，那么它将消耗它，将其传递到storm;
浏览 0提问于2015-01-08得票数 0
1回答
我正在构建一个旧的kafka (0.8.2.2)，并得到一个缺少的java类的运行时错误：当我查看libs/kafka_2.10-0.8.2.2.jar时，我看到了kafka/common/KafkaException的存在
浏览 3提问于2017-04-24得票数 0
回答已采纳
1回答
我运行星火在一个独立的集群，其中火花主，工人和提交每个运行在那里自己的码头容器。当spark-submit我的Java使用--repositories和--packages选项时，我可以看到它成功地下载了所需的依赖项。然而，stderr登录火花工作者web ui报告一个java.lang.ClassNotFoundException: kafka.serializer.StringDecoder。这个类在spark-submit下载的一个依赖项中可用。但是看起来在工人的类路径上没有吗？？
浏览 10提问于2016-02-22得票数 3
在我的项目中添加Kafka流时，我的build.sbt看起来如下所示： "org.apache.spark" % "spark-stre
浏览 3提问于2020-04-05得票数 0
回答已采纳
1回答
并从kafka_2.11-2.0.0 (二进制非源)读取数据。我正在使用星星之交--jars sspark-streaming-kafka-0-8-assembly_2.11-2.4.0.jar script.py，错误消息出现在错误报告中，如果有人能帮忙，谢谢:/pom.xml</relativePath>
<artifactId>spark-streaming-kafka-0-8-assembly_2.11</artifact
浏览 0提问于2019-03-25得票数 0
回答已采纳
我正尝试使用以下命令在独立的星火集群上部署一个使用Kafka主题作业的星火流：~/cdc/cdc_2.11-0.1.jar --jars ~/cdc/kafka_2.11-0.10.0.1-0-10_2.11-2.2.1.jar Exception in thread "main" java.lang.NoClassDefFou
浏览 1提问于2018-05-29得票数 1
回答已采纳
KafkaAvroDecoder, KafkaAvroDecoder, EvtAct]( kafkaParams, messageHandler当我编译代码(从maven)时，Class[VD], recordClass: Class[R], kafkaParams: java.util.Map[String,String], fromOffsets: java.util.Map[kafka.common.TopicAndPartition: Map[String,
浏览 2提问于2016-11-16得票数 0
当我试图从远程IP中使用使用者的代码时，我的问题就开始了；一旦我将seeds.add("127.0.0.1");更改为seeds.add("104.131.40.xxx");，就会收到以下错误消息：import kafka.api.PartitionOffsetRequestInfo;import kafk
浏览 1提问于2014-08-28得票数 7
我和Kafka一起运行Spark Structured。在我的本地设置中，使用以下命令可以正常运行jar spark-submit --master local[*] --class com.stream.Main --num-executors 3 --driver-memory2g --executor-cores 2 --executor-memory 3g prism-event-synch-rta.jar 但是，当我尝试在spark集群中使用yarn运行相同的jar时at or
浏览 169提问于2020-12-06得票数 0
1回答
我正在为一个用python编程的项目使用kafka和spark streaming。我想将kafka producer的数据发送到我的流媒体程序中。当我使用指定的依赖关系执行以下命令时，它可以顺利地工作：是否有任何方法可以指定依赖项并直接运行流代码(例如，不使用
浏览 2提问于2017-06-26得票数 0
2回答
我正在使用Kafka jars在scala shell上执行spark代码，我的目的是从Kafka主题流式传输消息。我的spark对象已经创建好了，但是有没有人可以帮助我在启动spark shell时如何传递jaas配置文件呢？我的错误将我指向缺少jaas配置
浏览 1提问于2018-09-05得票数 4
offset 29599我关闭了auto.commit (enable.auto.commit=false)，使用Kafka这个错误是Kafka消费者端的问题还是我的spark-kafka消费者程序导致的？我尝试将receive.buffer.bytes增加到655360，但我的spark-kafka使用者失败了，并出现了相同的错误。这个错误会不会是由于我的Kafka源码由于数据太大而发送的
浏览 2提问于2018-01-09得票数 0
1回答
我正在尝试创建一个Kafka生产者的java实例，它抛出了这个错误，但是当我运行控制台生产者时，它工作了。我认为这个错误是由于导入 错误： [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version: 2.6.0
[main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka commit
浏览 12提问于2020-10-08得票数 0
回答已采纳
但最近，我们向现有的flink作业添加了一个新主题，它在启动时立即开始失败，并出现以下根错误： at org.apache.kafka.common.record.DefaultRecordBatch.compressedIterator(DefaultRecordBatch.java:256)
at
浏览 5提问于2020-07-31得票数 1
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号