Spark-submit在错误的目录中查找
Spark-submit是Apache Spark中用于提交Spark应用程序的命令行工具。它负责将应用程序的代码和依赖项打包成一个可执行的JAR文件，并将其提交给Spark集群进行执行。
当使用spark-submit命令时，它会尝试在指定的目录中查找应用程序的JAR文件。如果在错误的目录中查找，可能会导致找不到应用程序的问题。
为了解决这个问题，可以采取以下步骤：
- 确保应用程序的JAR文件存在于正确的目录中。可以使用命令行或文件浏览器检查目录结构，并确保JAR文件位于正确的位置。
- 确保在使用spark-submit命令时，正确指定了应用程序的JAR文件路径。可以使用绝对路径或相对路径来指定。
- 如果应用程序的JAR文件位于远程服务器上，确保可以通过网络访问到该文件。可以使用网络工具（如ping或telnet）来测试与远程服务器的连接。
- 如果使用了集群管理工具（如YARN或Mesos），确保集群配置正确，并且应用程序的JAR文件已经上传到集群中。
总结起来，解决Spark-submit在错误的目录中查找的问题，需要确保应用程序的JAR文件存在于正确的位置，并且在使用spark-submit命令时正确指定了JAR文件的路径。如果问题仍然存在，可能需要进一步检查网络连接和集群配置等因素。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
相关·内容
1回答
Spark-submit在错误的目录中查找
linux、bash、apache-spark、pyspark、anaconda
为了测试安装，我尝试在终端中运行spark-submit，但得到以下错误：AttributeError: 'NoneType' object has no attribute 'origin'
/home/jessica&#x
浏览 31提问于2019-10-28得票数 0
回答已采纳
1回答
脚本可以在shell中运行，但不能在Ruby中运行
ruby、bash、shell
我有一个脚本，填充多个火花提交作业的参数。当我将它们复制并粘贴到shell中时，作业可以工作，但是当我将字符串放在反号中并从Ruby中执行它时，作业就失败了。spark-submit --master yarn-cluster \ --files ... \ -otherflagsRuby返回即使spark-submit<e
浏览 0提问于2016-08-18得票数 0
2回答
通过Oozie运行火花作业
hadoop、apache-spark、oozie
因为我们现在在纱线上使用Spark，所以寻找一种使用Oozie来安排作业的方法。
谢谢。
浏览 0提问于2015-03-26得票数 2
回答已采纳
2回答
EC2 EMR未执行问题火花-提交未找到
amazon-web-services、apache-spark、amazon-ec2、amazon-emr
我已经在我的主EMR中在haddop会话中创建了一个sh文件来执行一个火花作业。经过研究，我注意到EC2 AMI需要在路径中创建一个没有扩展名的文件：/etc/cron.d/schedule，然后schedule文件可能满足预期的执行，所以我这样做了：
SHELL=/bin/bashscheduler文件中指定了用户名hadoop，但是在询问了AWS支持之后，他们将它设置为root，问
浏览 0提问于2018-08-08得票数 0
3回答
在运行一个简单的twitter情感分析代码时，获取jar和java.lang.ClassNotFoundException并不存在
java、scala、twitter、apache-spark
我一直在尝试运行一个简单的twitter情绪分析代码，这个代码在早些时候似乎运行得很好，但已经不再工作了。我在Scala2.10.4中使用了spark 1.3.1。我在某个地方读到TwitterUtils不适合somewhere 1.0+，所以我尝试了一个解决办法。根据scala的books..the正确的目录结构，一切似乎都已经就绪，这是一个使用sbt程序集的胖jar，正确的路径，但是seems无
浏览 4提问于2015-07-23得票数 3
2回答
从本地文件中读取星火流给NullPointerException
apache-spark、nullpointerexception、spark-streaming
使用Spark2.2.0在OS高级塞拉利昂。scala.collection.mutable.ArrayOps$ofRef$.length$extension(ArrayOps.scala:192)
该文件存在，我可以使用SparkContext (sc)从终端上的火花壳读取它
浏览 1提问于2018-03-14得票数 3
回答已采纳
1回答
如何使用特定的用户将星火外壳保存到hdfs中
apache-spark、pyspark、apache-spark-sql、spark-streaming
使用intellijCommand的im使用ubuntuim使用火花依赖关系，没有找到，但是可以安装：..(当我在shell中输入火花时)，我有两个用户胺，和hadoop_amine (在其中设置了hadoop )procesed.write.format("json").save("hdfs://localhost:54310/mydata/enedis/POC/processed.json&qu
浏览 2提问于2020-05-03得票数 0
回答已采纳
1回答
一些星星之交配置选项没有反映在k8s pod中。
apache-spark、kubernetes
我正在使用spark-submit在我的k8s集群上创建一个火花驱动程序。当我跑的时候--master k8s://https://my-cluster-url:443--name spark-test成功地在我的k8s集群中创建了一个pod。此外，还没有给出指定的图像提取秘密my-cr-secret
浏览 2提问于2020-03-03得票数 0
回答已采纳
1回答
无法使用spark submit提交python应用程序
python、apache-spark、pyspark
现在我想在我的本地Windows上使用spark-submit命令运行我的Spark应用程序。我有Spark版本2.1.1
spark-submit --py-files local:///C:/git_local/sparkETL/dist/sparkETL-0.1-py3.6.egg driver.pyspark-submit --py-files local:///C:/git_loca
浏览 22提问于2019-07-08得票数 1
回答已采纳
1回答
星星之交-代理用户不工作在纱线集群模式。
hadoop、apache-spark、hadoop-yarn
在客户端模式下，我使用以下命令spark-submit --master yarn-client --proxy-user cloudera examples/src/main/python在集群模式下，我使用以下命令(缓存中没有kinit完成，也没有TGT )
spark-submit --principal <myprinc> --keytab <KT location> --master但是，当我在集群模式中使用以
浏览 0提问于2016-01-13得票数 3
回答已采纳
2回答
在使用shell时找不到火种提交
apache-spark
我安装了spark，并试图使用以下命令在shell中运行目录'/home/xxx/Desktop/BD_Project‘train.py’
我的队友，谁使用相同的页面，我做的火花安装，没有问题时，运行这个但是，它为我抛出以下错误：bash: /bin/spark-submit: No such file or directory
浏览 4提问于2021-12-04得票数 0
1回答
Spark无法在pip安装后导入pip模块
apache-spark、pip、boto
我已经在本地机器上通过pip安装了boto3，然后在本地模式下运行spark-submit，同时将路径传递到安装boto3的目录。留给我的是以下命令：然后，当在我的app.py中使用import boto3时，它会抛出可怕的</
浏览 10提问于2016-08-27得票数 2
1回答
装载火花-env.sh，火花-提交:没有这样的文件或目录
macos、apache-spark、pyspark
我正试图在我的iMac上安装apache，使用这2页上的说明：
酿制木桶安装java
brew安装java
火花弹外壳：
/usr/local/Cellar/apache-spark/3.0.1/libexec/bin/spark-shell:
浏览 1提问于2021-01-18得票数 0
2回答
Spark执行错误:spark-提交
apache-spark
我正在尝试使用下面的命令从spark-shell执行一个程序提示以下错误spark-submit --clas
浏览 43提问于2017-07-14得票数 1
回答已采纳
1回答
文件名、目录名或卷标语法不正确。在使用spark-submit时
java、eclipse、apache-spark、command-line、spark-submit
我正在使用spark-submit来执行一个jar文件。Spark位于我的"C“驱动器中，而我的eclipse工作区位于"D”驱动器中。尽管我给出了jar文件的绝对路径，但我得到的错误是“文件名、目录名或卷标语法不正确”。下面是我用来运行spark-submit的命令：
C:\spark-2.1.0-bin-hadoop2.7\bin>spark-submit</e
浏览 3提问于2017-02-10得票数 3
4回答
Spark Catalog w/ AWS Glue:找不到数据库
apache-spark、amazon-emr、aws-glue
我已经使用Glue Data目录创建了一个EMR集群。当我调用spark-shell时，我能够通过以下方式成功列出存储在Glue数据库中的表spark.catalog.listTables但是，当我通过spark-submit提交作业时，我收到一个致命错误
ERROR ApplicationMaster: User class threw exception: org.apache.s
浏览 0提问于2017-09-19得票数 3
2回答
如何手动部署Apache Spark集群的第三方实用程序jar？
apache-spark
例如: spark-streaming-twitter_2.10-1.6.0.jar
我知道我们可以使用maven构建一个包含这些jar的胖jar，但是我想手动部署这些实用程序。
浏览 3提问于2016-01-27得票数 4
1回答
使用java.io.File.mkdirs()将文件写入目录，然后访问它在spark群集模式下不工作
scala、apache-spark
当我试图在客户端模式下运行相同的代码时，代码将成功运行。但是，在群集模式下运行时，它无法创建文件，并以错误提示没有这样的文件或目录。下面是代码示例：->以客户端模式创建的目录
此外，在目录中创建文件时，不会出现错误，没有这样的文件或目录。有
浏览 1提问于2018-11-14得票数 0
回答已采纳
1回答
缓冲区/容量错误将数据存储为星火中的地板
java、apache-spark、pyspark
我在PySpark将数据作为分区的拼花文件写入Hadoop时遇到了问题。这样做的效果很好： .partitionBy("Country") \这给了我同样的错误：输出：
2022-06-12 10:35:29,46
浏览 87提问于2022-06-11得票数 0
1回答
spark-使用Runtime.getRuntime().exec提交时未找到提交命令
java、apache-spark
我有一个用例，我需要做火花提交的python代码从Java应用程序。为此，我编写了以下代码： String command = "spark-submit /home/hadoop/sample.py "
+ "--input_dir "
浏览 44提问于2019-06-07得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
