使用Maven时出现Apache spark错误

文章/答案/技术大牛

发布

0回答

java、scala、maven、intellij-idea、apache-spark

我目前正在尝试学习Apache Spark。我使用Maven和Java，因为我不熟悉Scala或SBT。Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/O

浏览 0提问于2016-06-28得票数 0

回答已采纳

2回答

为什么我不能导入org.apache.spark.sql.DataFrame

java、apache-spark

我有Maven依赖项spark-sql_2.1.0和spark-hive_2.1.0。然而，当我尝试import org.apache.spark.sql.DataFrame时，出现了一个错误。但是导入org.apache.spark.sql.SQLContext是可以的，没有错误。为什么？

浏览 20提问于2017-07-19得票数 4

回答已采纳

3回答

SBT上Spark 2.0.1的“未解析依赖”

scala、apache-spark、intellij-idea、dependencies、sbt

使用我的build.sbtscalaVersion := "2.11.8" libraryDependencies += "org.apache.spark" % "<em

浏览 2提问于2016-11-02得票数 4

2回答

无法识别Intellij平台中spark上的Java的DataFrame

java、apache-spark

我是Spark的新手，我尝试过使用spark库中包含的DataFrame库来操作一些数据。import org.apache.spark.api.java.JavaSp

浏览 1提问于2017-01-31得票数 2

回答已采纳

1回答

NoSuchMethodErro:org.apache.hadoop.hive.ql.exec.Utilities.copyTableJobPropertiesToConf

apache-spark、hive

(Lorg/apache/hadoop/hive/ql/plan/TableDesc;Lorg/apache/hadoop/conf/Configuration;)V at org.apac

浏览 11提问于2021-12-07得票数 0

2回答

Spark Streaming Kafka -当RDD包含实际消息时，作业总是退出

java、spark-streaming、apache-kafka

我正在尝试通过Spark Streaming 1.3.1处理来自Kafka的消息。作业正在我的PC上本地运行。15/05/20 11:22:00 ERROR TaskContextImpl: Error in TaskCompletionListener:158) at org.apache.spark.util.NextItera

浏览 0提问于2015-05-20得票数 6

1回答

错误:scalac:错误的符号引用。SQLContext.class中的签名是指包org.apache.spark中不可用的类型日志记录。

scala、maven、apache-spark、intellij-idea、apache-spark-sql

当我使用IntelliJ思想编写scala文件时，显示了以下错误。注意:当我将星火-sql添加到pom.xml文件中时，出现了错误

浏览 6提问于2017-08-09得票数 4

回答已采纳

1回答

SparkSession初始化抛出ExceptionInInitializerError

java、maven、apache-spark、spark-streaming、spark-structured-streaming

我正在尝试运行一个简单的Spark结构化流式作业，但在SparkSession上调用getOrCreate()时出现错误...("CountryCount") .getOrCreate();<?" xsi:schemaLocation="http://maven</em

浏览 94提问于2020-07-30得票数 3

回答已采纳

1回答

StreamingContext没有构造函数

scala、apache-spark、spark-streaming

代码如下所示import org.apache.spark.streaming.StreamingContextimport org.apache.spark.storage.StorageLevel import org.apache.spark<

浏览 0提问于2018-12-01得票数 0

1回答

IntelliJ IDEA中的Maven依赖项“无法解析symbol VectorAssembler‘”

java、maven、apache-spark、intellij-idea

当我在maven中添加依赖项时，IntelliJ IDEA无法导入Spark mllib。与Spark的其他部分没有问题。在项目结构中，出现了->库spark mllib。import org.apache.spark.ml.feature.VectorAssembler; -> Cannot resolve symbol 'VectorAssembler' pom.xml： <dependencies>

浏览 52提问于2020-09-11得票数 0

回答已采纳

3回答

java.lang.ClassNotFoundException: text.DefaultSource

java、scala、maven、apache-spark、intellij-idea

我使用Intellij的想法。我用它做了一个可执行文件-jar，但是当我试图通过windows控制台启动它时，会出现一个错误，就是缺少某个类。我找不到问题，因为我已经在我的.pom文件中添加了它。另外，当我查看.jar内部时，我看到了这个类的库：我试着使用这两种插件:maven-着色器插件和maven-程序集插件，结果是相同的。这是我的代码： import org.apache.spark</em

浏览 2提问于2016-11-06得票数 2

1回答

spark-submit无法在我的jar文件中使用依赖项

maven、apache-spark、spark-submit

我做了一个jar文件，里面有org.apache.spark.sql.kafka10。(使用spark-sql-kafka-0-10_2.11:2.4.3)。但是当我使用./bin/spark-submit --class MYCLASS --master local[*] MYJAR.jar执行时，会出现如下错误。:spark-sql-kafka-0-10_2.11:2.4.3选项，但我不想使用</em

浏览 0提问于2019-07-19得票数 2

1回答

Apache Spark 1.4.1构建失败

maven、apache-spark、maven-assembly-plugin、apache-spark-1.4

我已经从官方网站下载了Apache Spark 1.4.1。如下所示：我的机器上没有安装hadoop。Apache提供了build命令。因此，我尝试使用以下命令build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package开始构建项目[INFO] Spark Project External Kafka Assembly ..

浏览 2提问于2015-07-29得票数 0

1回答

项目生成错误:无法分析的POM :需要的START_TAG或END_TAG不是文本(位置:看到的文本...</dependency>\ufeff\r\n <d...@28:7)

maven、apache-spark、scala-ide

我是spark-scala的新手，我正在尝试在scala IDE中编写spark应用程序，所以我已经创建了一个maven项目并尝试编辑pom.xml文件，当我向pom.xml添加依赖项时，我得到以下错误</dependency>\ufeff\r\n <d... @28:7)热心的帮助，通过旧的答案，我不能解决。<project xmlns="http://mave

浏览 12提问于2017-10-01得票数 0

2回答

Spark -线程java.lang.NoClassDefFoundError异常: org/apache/spark/sql/DataFrame

scala、maven、apache-spark

在mobaxterm上使用此命令运行我的spark应用程序后：出现以下错误： Exception in thread "main" java.lang.NoClassDefFoundError: org/<em

浏览 21提问于2016-09-22得票数 1

2回答

ClassNotFoundException:找不到数据源: bigquery

java、maven、apache-spark、google-bigquery、google-cloud-dataproc

我正在尝试将数据从谷歌BigQuery加载到在Google Dataproc上运行的Spark (我使用的是Java)。> xsi:schemaLocation="ht

浏览 24提问于2019-11-03得票数 3

回答已采纳

1回答

将nifi接收程序与火花流集成将导致sbt程序集失败。

apache-spark、sbt、spark-streaming、sbt-assembly、apache-nifi

我正在尝试创建一个使用nifi接收器的星火流应用程序。根据教程，我将sbt依赖项添加到构建文件中，但现在sbt assembly失败了，出现了一个重复错误。" % "spark-core_2.10" % "1.6.1" % "provided" libraryDependencies += "org.apache.spark" % "spark-streaming+=

浏览 4提问于2016-05-10得票数 1

回答已采纳

2回答

Apache Java版本3.3导入问题

java、scala、apache-spark

在我的Java项目中实现Apache的初学者。我使用的是Spark-3.3，jars是从maven存储库下载的。一个简单的片段(如下所示)抛出一个错误，我非常困惑：import org.apache.spark.sql.Row;import org.

浏览 15提问于2022-08-20得票数 1

1回答

Java无法运行H2o闪亮水，java.lang.NumberFormatException:不是版本:9

java、maven、apache-spark

我试图运行一个星火+ H2o闪闪发光水项目，并使用Maven作为我的构建工具。>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.compiler.target> ExceptionJava 8，所以我不知道为什么会出现这个错误。-- Spark --> <d

浏览 1提问于2020-03-28得票数 0

1回答

intellij: scala的错误

scala、apache-spark、intellij-idea

我有一个scala项目，它使用火花libraies，而且大多数情况下它工作得很好(使用intellij)。但也有一些时候，它在intellij的发布上出现了错误： [error] stack trace\AppData\Local\Coursier\Cache\v1\https\repo1.maven.org\maven2\org\apache\spark</

浏览 19提问于2022-09-17得票数 0

点击加载更多