腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
spark-submit
-
无法
解析
主
url
apache-spark
我在Windows10机器上使用
spark-submit
执行spark作业时遇到错误。该命令为: c:\workspaces\Spark2Demo>
spark-submit
--class retail_db.GetRevenuePerOrder --master local .SparkContext:91 - Error initializing SparkContext. org.apache.spark.SparkException: Could not parse Master
URL
浏览 49
提问于2019-03-12
得票数 1
回答已采纳
1
回答
Spark-submit
main类中的
主
url
和SparkSession
主
url
,有什么区别?
apache-spark
在使用
spark-submit
提交作业时,我设置了
主
URL
,并为他提供了一个
主
类,例如:但是在这个
主
类中,我的spark上下文定义了另一个
主
url
: SparkSession.builder().appName("Word2vec").master("local"
浏览 1
提问于2016-08-08
得票数 8
回答已采纳
1
回答
在Hadoop上使用Spark运行Scala程序
scala
、
hadoop
、
apache-spark
、
google-compute-engine
我创建了一个scala程序,用于在文本文件中搜索单词。我用eclipse创建了scala文件,在我用sbt和sbt assembly.After编译和创建了一个jar之后,我在本地用.jar运行了Spark,它可以正常运行。现在我想试着在hadoop上使用Spark运行这个程序,我有一台主机和两台工作机。我必须更改代码吗?我对主机的shell执行什么命令?我创建了一个存储桶,并将文本文件放入hadoop中 import scala.io.Sourceimport org.apache.spark
浏览 1
提问于2015-06-10
得票数 0
3
回答
无法
解析
主
URL
eclipse
、
apache-spark
、
hadoop-yarn
Exception in thread "main" org.apache.spark.SparkException: Could not parse Master
URL
: 'yarn'
浏览 0
提问于2016-12-09
得票数 3
回答已采纳
3
回答
在使用submit运行时,未能从JAR文件加载
主
类。
scala
、
apache-spark
我提交的作业使用的是“星火-提交-
主
本地-执行程序-内存800米目标/Scala-2.10/finalproject_2.10-1.0.jar”。com.databricks.spark.csv").option("header","true").save("hdfs://localhost:9000/Flight") }错误
spark-submit
浏览 4
提问于2016-12-14
得票数 2
1
回答
无法
使用群集模式在EMR上运行spark应用程序
amazon-web-services
、
apache-spark
、
hadoop-yarn
、
amazon-emr
我怀疑我创建spark session的方式有问题,我的
主
会议如下所示 .master("local[2]") .appName
浏览 1
提问于2018-04-09
得票数 0
2
回答
正在从spark配置文件中读取属性
apache-spark
、
sparkcore
org.apache.spark.SparkException:必须在您的配置中设置
主
URL
# # Licensed
浏览 23
提问于2018-08-23
得票数 0
1
回答
无法
从命令行在
spark-submit
中设置配置
apache-spark
、
apache-spark-2.0
、
sparkcore
我正在尝试使用以下命令在应用程序jar中设置
主
URL
: .builder() .config("spark.sql.warehouse.dir", "/tmp/spark-warehouse")我尝试使用以下参数运行jar:
spark-submit
-—nu
浏览 2
提问于2017-05-15
得票数 0
2
回答
大师必须从纱线开始,火花
scala
、
hadoop
、
apache-spark
、
sbt
beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/
spark-submit
--
浏览 6
提问于2015-10-15
得票数 3
回答已采纳
1
回答
混淆使用Yarn资源管理器
python
、
pyspark
、
hadoop-yarn
、
amazon-emr
我通常这样做: $
spark-submit
--deploy-mode client spark-job.py 但是这两者的区别是什么呢?$
spark-submit
--deploy-mode client spark-job.py 和 $
spark-submit
spark-job.py 如何识别正在查看spark日志的作业是在客户端模式下运行
浏览 3
提问于2020-01-27
得票数 1
回答已采纳
1
回答
Spark作业未显示在独立群集GUI上
apache-spark
当我通过CLI在
主
节点上执行新作业时,虽然作业按预期完成,但它根本不会显示在集群
spark-submit
sparktest.py --master spark://myip:7077上。在作业执行期间和完成后,当我导航到http://mymasternodeip:8080/时,正在运行的作业和已完成的作业都
无法
识别这些作业。任何关于为什么这些工作没有出现的想法都将不胜感激。
浏览 9
提问于2021-08-09
得票数 1
回答已采纳
4
回答
提交spring应用程序jar以激发提交
spring
、
apache-spark
、
spring-boot
但是,当我试图将jar提交给
spark-submit
时,
无法
找到
主
类。但是主要的类在jar中。
spark-submit
--class com.dip.sparkapp.SparkappApplication --master local target/sparkapp-0.0.1-SNAPSHOT.jar
浏览 5
提问于2017-07-19
得票数 10
1
回答
对HDFS的火花保存结果
apache-spark
、
hdfs
、
pyspark
当我在HDFS上使用一个
主
节点和三个工作节点存储已
解析
的XML文件时,遇到了奇怪的行为,问题是sc = SparkContext("local", "parser") and the
spark-submit
will be ./bin/
spark-submit
xml_par
浏览 3
提问于2016-04-27
得票数 2
回答已采纳
1
回答
如果spark GUI不工作,如何调试它
apache-spark
我的SPARK GUI不工作,尽管我可以看到我的4040端口在我启动任何
spark-submit
作业时都在监听。netstat -an | grep 4040 tcp6 0 0 127.0.0.1:4040:*监听任何意见/建议都将受到高度赞赏。
浏览 4
提问于2016-07-07
得票数 0
2
回答
必须在配置中设置
主
URL
,这会造成许多混乱
apache-spark
、
amazon-emr
、
spark-submit
但是当我跑的时候我会发现一个错误:在阅读了大量的StackOverflow解决方案后,我感到困惑,没有找到一个正确的解释,如何和为什么设置应用程序
主
。我已经尝试了以下所有选项
spark-submit
--class financialLineItem.FinancialLineItem s
浏览 5
提问于2018-01-15
得票数 0
1
回答
EKS上的EMR :如何检索EKS上托管的EMR集群的
主
URL
,以创建spark上下文并使用spark上下文运行作业
apache-spark
、
amazon-emr
、
amazon-eks
在我们的应用程序中,我们使用spark master创建单个spark上下文,并使用它执行多个spark作业。我们在EKS上使用EMR的方式也是如此。有没有一种方法来执行它,或者它支持这种方式,或者EMR只适用于提交作业。
浏览 42
提问于2021-10-26
得票数 0
1
回答
使用
spark-submit
时出现类路径错误
scala
、
apache-spark
当我将jar (使用assembly插件创建)复制到EMR集群并使用java -jar my.jar运行它时,我得到了预期的输出(scopt,命令行
解析
器,它告诉我缺少参数)。如果我在
主
节点或从节点上运行jar,这是相同的。但是,当我使用
spark-submit
my.jar运行它时,我得到一个错误: Exception in thread "main" java.lang.NoSuchMethodError: scopt.Read$.seqRead(Lscopt/Read;)Lscopt/Read;
浏览 1
提问于2015-03-06
得票数 0
1
回答
在amazon emr上运行时,应指定哪些内容作为spark master
apache-spark
、
amazon-emr
斯帕克有在使用EMR web界面创建新集群时,可以添加一个自定义步骤,在集群启动时执行Spark应用程序,基本上是在集群启动后自动执行
spark-submit
。我一直在想,在启动EMR集群并通过指定的EMR步骤提交jar文件时,如何在应用程序中指定SparkConf的
主
节点?事先不可能知道集群主机的IP,如果我手动启动集群,然后在调用
spark-submit
之前使用这些信息构建我的应用程序,就会出现这种情况。
浏览 1
提问于2016-12-09
得票数 4
2
回答
如何从EC2上的星火流报告JMX到VisualVM?
amazon-ec2
、
jmx
、
apache-spark
、
visualvm
、
spark-streaming
终端 project
浏览 1
提问于2014-12-18
得票数 5
回答已采纳
1
回答
如何在SparkConf中初始化
主
服务器,以便在k8s集群上运行分布式?
docker
、
apache-spark
、
kubernetes
、
pyspark
我编写了一个简单的pyspark脚本,并希望将它部署到k8s集群上,但不知道如何正确地初始化火花上下文:需要将什么作为SparkConf().setMaster的
主
节点传递给SparkConf().setMaster(当我将
主
服务器设置为k8s://https://172.20.234.174:6443时,我得到了错误)我用来在k8s上部署的命令: --namesc.parallelize(first).saveAsTextFile
浏览 1
提问于2020-02-04
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
spark安装和提交程序测试,占用大数据最多的节点他的魔力展现在哪里?
什么是DNS服务
如何在CDH集群上部署Python3运行环境及运行Python作业
Java 要跟 Python 斗!预测CSDN博客之星排行,结果竟然是……
爬取百度图片
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券