1火花使用者-应该在DefaultDecoder包中使用kafka.serializer来消耗字节。它似乎是在错误的路径下搜索(org.apache.spark.streaming.kafka而不是org.apache.kafka)。kafka.serializer.DefaultDecoder. [info] +-org.apache.spark:spark-streaming-kafka_2.10:1.6.1= "o
/localorg.apache.spark/spark-streaming/3.1.2/ivys/ivy.xml
[error] not found: https://repo1.maven.org/maven2/org/apache/spark/spark-streaming/3.1.2/spark-streaming-3.
我运行了一个用Java编写的Spark流程序来读取Kafka的数据,但是由于我使用scala或java的版本很低,所以我试图找出这个错误。我使用了JDK版本15,但是仍然有这个错误,有人能帮我解决这个错误吗?谢谢。(SparkApplication.scala:52)
at org.apache.spark.deploy.SparkSubmit.org$apache$spark$deploy$Spar
(RDD.scala:277)at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:35)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277)
我在一个HDP 2.3.2.0集群上使用Spark1.4.1,我有一个简单的应用程序,它创建一个dstream,从Kafka读取数据并在其上应用过滤器转换。$map$1.apply(RDD.scala:294)at org.apache.spark.rdd.RDDOperationScope:108)
at org.
在cloudera快速启动VM上设置Spark1.2.1之后,我正在尝试启动星火壳。我得到了下面的error.Looking帮助解决这个问题。感谢在这方面的任何快速帮助,以解决这个问题。at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:705)
at org.apache.spark.repl.SparkIMain.interpret