spark-submit -无法解析主url

文章/答案/技术大牛

发布

1回答

apache-spark

我在Windows10机器上使用spark-submit执行spark作业时遇到错误。该命令为： c:\workspaces\Spark2Demo>spark-submit --class retail_db.GetRevenuePerOrder --master local .SparkContext:91 - Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master URL

浏览 49提问于2019-03-12得票数 1

回答已采纳

1回答

Spark-submit main类中的主url和SparkSession主url，有什么区别？

apache-spark

在使用spark-submit提交作业时，我设置了主URL，并为他提供了一个主类，例如：但是在这个主类中，我的spark上下文定义了另一个主url： SparkSession.builder().appName("Word2vec").master("local"

浏览 1提问于2016-08-08得票数 8

回答已采纳

1回答

在Hadoop上使用Spark运行Scala程序

scala、hadoop、apache-spark、google-compute-engine

我创建了一个scala程序，用于在文本文件中搜索单词。我用eclipse创建了scala文件，在我用sbt和sbt assembly.After编译和创建了一个jar之后，我在本地用.jar运行了Spark，它可以正常运行。现在我想试着在hadoop上使用Spark运行这个程序，我有一台主机和两台工作机。我必须更改代码吗？我对主机的shell执行什么命令？我创建了一个存储桶，并将文本文件放入hadoop中 import scala.io.Sourceimport org.apache.spark

浏览 1提问于2015-06-10得票数 0

3回答

无法解析主URL

eclipse、apache-spark、hadoop-yarn

Exception in thread "main" org.apache.spark.SparkException: Could not parse Master URL: 'yarn'

浏览 0提问于2016-12-09得票数 3

回答已采纳

3回答

在使用submit运行时，未能从JAR文件加载主类。

scala、apache-spark

我提交的作业使用的是“星火-提交-主本地-执行程序-内存800米目标/Scala-2.10/finalproject_2.10-1.0.jar”。com.databricks.spark.csv").option("header","true").save("hdfs://localhost:9000/Flight") }错误 spark-submit

浏览 4提问于2016-12-14得票数 2

1回答

无法使用群集模式在EMR上运行spark应用程序

amazon-web-services、apache-spark、hadoop-yarn、amazon-emr

我怀疑我创建spark session的方式有问题，我的主会议如下所示 .master("local[2]") .appName

浏览 1提问于2018-04-09得票数 0

2回答

正在从spark配置文件中读取属性

apache-spark、sparkcore

org.apache.spark.SparkException:必须在您的配置中设置主URL# # Licensed

浏览 23提问于2018-08-23得票数 0

1回答

无法从命令行在spark-submit中设置配置

apache-spark、apache-spark-2.0、sparkcore

我正在尝试使用以下命令在应用程序jar中设置主URL： .builder() .config("spark.sql.warehouse.dir", "/tmp/spark-warehouse")我尝试使用以下参数运行jar： spark-submit-—nu

浏览 2提问于2017-05-15得票数 0

2回答

大师必须从纱线开始，火花

scala、hadoop、apache-spark、sbt

beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --

浏览 6提问于2015-10-15得票数 3

回答已采纳

1回答

混淆使用Yarn资源管理器

python、pyspark、hadoop-yarn、amazon-emr

我通常这样做： $spark-submit --deploy-mode client spark-job.py 但是这两者的区别是什么呢？$spark-submit --deploy-mode client spark-job.py 和 $spark-submit spark-job.py 如何识别正在查看spark日志的作业是在客户端模式下运行

浏览 3提问于2020-01-27得票数 1

回答已采纳

1回答

Spark作业未显示在独立群集GUI上

apache-spark

当我通过CLI在主节点上执行新作业时，虽然作业按预期完成，但它根本不会显示在集群spark-submit sparktest.py --master spark://myip:7077上。在作业执行期间和完成后，当我导航到http://mymasternodeip:8080/时，正在运行的作业和已完成的作业都无法识别这些作业。任何关于为什么这些工作没有出现的想法都将不胜感激。

浏览 9提问于2021-08-09得票数 1

回答已采纳

4回答

提交spring应用程序jar以激发提交

spring、apache-spark、spring-boot

但是，当我试图将jar提交给spark-submit时，无法找到主类。但是主要的类在jar中。spark-submit --class com.dip.sparkapp.SparkappApplication --master local target/sparkapp-0.0.1-SNAPSHOT.jar

浏览 5提问于2017-07-19得票数 10

1回答

对HDFS的火花保存结果

apache-spark、hdfs、pyspark

当我在HDFS上使用一个主节点和三个工作节点存储已解析的XML文件时，遇到了奇怪的行为，问题是sc = SparkContext("local", "parser") and the spark-submit will be ./bin/spark-submit xml_par

浏览 3提问于2016-04-27得票数 2

回答已采纳

1回答

如果spark GUI不工作，如何调试它

apache-spark

我的SPARK GUI不工作，尽管我可以看到我的4040端口在我启动任何spark-submit作业时都在监听。netstat -an | grep 4040 tcp6 0 0 127.0.0.1:4040：*监听任何意见/建议都将受到高度赞赏。

浏览 4提问于2016-07-07得票数 0

2回答

必须在配置中设置主URL，这会造成许多混乱

apache-spark、amazon-emr、spark-submit

但是当我跑的时候我会发现一个错误：在阅读了大量的StackOverflow解决方案后，我感到困惑，没有找到一个正确的解释，如何和为什么设置应用程序主。我已经尝试了以下所有选项 spark-submit --class financialLineItem.FinancialLineItem s

浏览 5提问于2018-01-15得票数 0

1回答

EKS上的EMR :如何检索EKS上托管的EMR集群的主URL，以创建spark上下文并使用spark上下文运行作业

apache-spark、amazon-emr、amazon-eks

在我们的应用程序中，我们使用spark master创建单个spark上下文，并使用它执行多个spark作业。我们在EKS上使用EMR的方式也是如此。有没有一种方法来执行它，或者它支持这种方式，或者EMR只适用于提交作业。

浏览 42提问于2021-10-26得票数 0

1回答

使用spark-submit时出现类路径错误

scala、apache-spark

当我将jar (使用assembly插件创建)复制到EMR集群并使用java -jar my.jar运行它时，我得到了预期的输出(scopt，命令行解析器，它告诉我缺少参数)。如果我在主节点或从节点上运行jar，这是相同的。但是，当我使用spark-submit my.jar运行它时，我得到一个错误： Exception in thread "main" java.lang.NoSuchMethodError: scopt.Read$.seqRead(Lscopt/Read;)Lscopt/Read;

浏览 1提问于2015-03-06得票数 0

1回答

在amazon emr上运行时，应指定哪些内容作为spark master

apache-spark、amazon-emr

斯帕克有在使用EMR web界面创建新集群时，可以添加一个自定义步骤，在集群启动时执行Spark应用程序，基本上是在集群启动后自动执行spark-submit。我一直在想，在启动EMR集群并通过指定的EMR步骤提交jar文件时，如何在应用程序中指定SparkConf的主节点？事先不可能知道集群主机的IP，如果我手动启动集群，然后在调用spark-submit之前使用这些信息构建我的应用程序，就会出现这种情况。

浏览 1提问于2016-12-09得票数 4

2回答

如何从EC2上的星火流报告JMX到VisualVM？

amazon-ec2、jmx、apache-spark、visualvm、spark-streaming

终端 project

浏览 1提问于2014-12-18得票数 5

回答已采纳

1回答

如何在SparkConf中初始化主服务器，以便在k8s集群上运行分布式？

docker、apache-spark、kubernetes、pyspark

我编写了一个简单的pyspark脚本，并希望将它部署到k8s集群上，但不知道如何正确地初始化火花上下文:需要将什么作为SparkConf().setMaster的主节点传递给SparkConf().setMaster(当我将主服务器设置为k8s://https://172.20.234.174:6443时，我得到了错误)我用来在k8s上部署的命令： --namesc.parallelize(first).saveAsTextFile

浏览 1提问于2020-02-04得票数 1

点击加载更多