如何解决设置Spark时出现的以下错误

文章/答案/技术大牛

发布

1回答

apache-spark、binaries

我正在设置Spark框架。我确实将winutils.exe放在了C:hadoop文件夹中，并通过编辑PATH变量更新了二进制文件。尽管如此，当我启动Spark时，我得到了以下错误。然而，尽管有上述错误，我仍然可以成功地启动Spark。请告知运行spark作业时，上述错误是否会导致任何问题。接下来，当我尝试运行wordcount.py file..get时，出现<

浏览 170提问于2019-03-10得票数 1

2回答

使用sparklyr和spark_install错误安装Spark

r、windows、apache-spark、sparklyr、azure-dsvm

我正在尝试安装spark使用sparklyr和我得到了下面的错误。\Cache/spark-2.0.1-bin-hadoop2.7.tgz" -C "C:/Users/LeviVM/AppData/Local/rstudio/spark/Cache"' had status2�tar.exe -zxf "C:\Users\MyPC\AppData

浏览 6提问于2016-10-14得票数 1

2回答

导入spark.implicits时发现错误

scala、apache-spark

我使用的是spark 1.4.0<console>:19: error: not found: value spark ^ 有人能帮我解决这个问题吗

浏览 5提问于2017-06-29得票数 1

回答已采纳

2回答

无法在闪闪发光的水外壳中将工作内存增加到2 2GB以上

apache-spark、h2o、sparkling-water

运行sparkling-shell时：出现以下错误：我们在spark-env.sh中设置了如下内容： export SPARK_WORKER_MEMORY=1

浏览 1提问于2016-04-07得票数 1

2回答

Spark/scala大小中的SQL查询超过Integer.MAX_VALUE

sql、apache-spark、amazon-ec2、emr

我正在尝试使用Spark在S3事件上创建一个简单的sql查询。我正在加载大约30 as的JSON文件，如下所示：d2.persist(org.apache.spark.storage.StorageLevel.MEMORY_AND_DISK").option("header", &

浏览 1提问于2017-02-15得票数 26

回答已采纳

1回答

数据过程中的Spark初始化失败- java.util.ServiceConfigurationError

java、apache-spark、google-cloud-platform、google-cloud-dataproc

当使用yarn-client作为主机创建spark context时，我得到以下错误： SparkSession sparkSession = SparkSession.builder((ServiceLoader.java:239) at java.util.ServiceLoader.access$300(ServiceLoader.java:185) 或当我没有设置主节点或传递local时，当我提交作业时，我会得到下面的错误</e

浏览 234提问于2021-07-15得票数 2

1回答

使用AWS将写入S3时已存在错误

apache-spark、amazon-s3、pyspark、apache-spark-sql、aws-glue

compression", "gzip").mode("overwrite").format("csv").save("s3://bucketname/metrics/parsed/")"Failure Reason": "JobFailed(org.apache.spark.SparkException: Job aborted due to stage fai

浏览 5提问于2022-10-26得票数 0

回答已采纳

1回答

运行时出错，sbt编译传递。

scala、sbt、spark-streaming、sbt-assembly

我有一段代码可以编译(Scala +Spark1.6)。然后我运行它(使用Spark1.6)，但是它抱怨没有一个1.6方法。什么给予?？" %% "spark-core" % "1.6.0" libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.6.0[warn] Here are some of the librar

浏览 0提问于2016-01-29得票数 1

1回答

在Parquet分区目录结构中读取不同的Schema

pyspark、parquet、pyspark-sql

我在hdfs上使用spark编写了以下分区拼接数据： |---Month |----Day|---dailydata.parquet 现在，当我从year path读取df时，spark读取dailydata.parquet。如何从所有分区中读取每月数据。我尝试使用设置选项mergeSchema = true，但出现错误。

浏览 4提问于2017-03-30得票数 0

1回答

如何解决构建EmulatorPkg时出现的以下错误？

uefi、edk2

当我运行build -p EmulatorPkg\EmulatorPkg.dsc -t VS2019 -a X64时，它显示以下错误 LINK : warning LNK4108:ָ /ALIGN ûָBuild end time: 22:18:35, Apr.07 2020 Build total time: 00:00:13 但是当构建MdeModulePkg/MdeModulePkg.dsc时，它没有任何错误。

浏览 283提问于2020-04-07得票数 0

1回答

HBase火花-与Spark2.0的连接

scala、apache-spark、hbase

一直试图使用Spark&Scala将数据写入HBase。需求是-我必须根据来自业务的列的时间戳为HBase记录设置TTL。将列的时间戳值转换为Epoch时间戳，并尝试在此基础上设置TTL。当我试图在Shell中执行相同的代码时，它是无缝执

浏览 1提问于2018-11-21得票数 3

1回答

aws emr上的星火簇找不到火花-env.sh

amazon-web-services、apache-spark、cluster-computing、amazon-emr

我在aws上玩apache火花，尝试使用将集群设置为使用python3，当我使用它时，集群在引导过程中崩溃，出现以下错误。sed:无法读取

浏览 0提问于2018-10-29得票数 1

回答已采纳

2回答

使用Spark3.0.1结构化流的Kafka : ClassException: org.apache.kafka.common.TopicPartition；类无效用于反序列化

java、pyspark、apache-kafka、avro、spark-structured-streaming

，我正在尝试使用pyspark结构的流来阅读google dataproc中的kafka消息。，因为我必须最终将此数据写到google org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1版本3.0.1上托管的增量，而pyspark使用的python版本是3.7.3，我正在使用的软件包是org.apache.spark:spark-sql-kafka-0-10_2.12:3.0.1)。.tr

浏览 3提问于2021-03-01得票数 2

1回答

如何在play-framework /application.conf.conf文件中设置星火独立的主url？

apache-spark、production-environment、playframework-2.5、apache-spark-standalone

使用星火独立集群插入play应用程序，它在dev模式下执行良好，但当尝试在生产模式下部署时，会出现以下错误：我使用的是星星之火-2.1，这是片段 lazy val spark = SparkSession.builder().appName("Spark_wit

浏览 3提问于2017-04-07得票数 0

回答已采纳

1回答

使用msmq时出现错误“以下错误必须解决”

c#、visual-studio、msmq

我有一个继承自MessageQueue的类(添加对System.Messaging.dll的引用)。当我想在解决方案资源管理器中打开它时，我看到以下错误：当我从下面的代码中删除: MessageQue

浏览 4提问于2012-07-25得票数 4

回答已采纳

1回答

spark-submit未将jars分发到nm-local-dir

scala、hadoop、apache-spark、hadoop-yarn

1 hadoop版本spark:2.0.0 scala:2.11.8 java:1.8.0_91、：2.7.2Causednor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME. 16/08/19 11:07:40 INFO Client: Uploading resource file:&

浏览 30提问于2016-08-19得票数 3

1回答

spark_expect_jobj_class中的CSV文件创建错误

r、apache-spark、sparklyr

在运行Spark代码时，它会出现一个错误。sc <- spark_connect(master = "local", config = conf, version = '2.2.0') options = list(), mode = NULL, partition_by = NULL

浏览 0提问于2018-09-10得票数 1

1回答

遗失遗嘱执行人火花

apache-spark

我在上有一个长期运行的作业，在运行了几个小时之后，它失败了，出现了以下错误。奇怪的是，我甚至看不到日志执行程序列表中丢失的执行者。如果有人能帮助解决这个问题，那就太好了。

浏览 0提问于2018-10-10得票数 10

回答已采纳

2回答

如何解决导入nltk包时出现的以下错误

python、nltk

Screenshot of the error 使用pip3安装nltk后，安装nltk 我无法在macOS中导入python shell中的nltk File "<stdin>", line 1

浏览 119提问于2021-10-18得票数 3

回答已采纳

2回答

如何解决新建laravel工程时出现的以下错误

laravel、homestead

我是homestead和laravel的新手，我正在尝试安装homestead并启动新的laravel项目，我遵循以下链接中的步骤，https://www.youtube.com/watch?v=Il08--droNI，似乎我成功安装了homestead然后我启动了vargant并使用以下命令在我的Homestead文件夹中安装了laravel现在我正在尝试使用以下命令启动新项目，但它给出了以下错误new

浏览 65提问于2020-04-17得票数 1

点击加载更多