Spark: spark-submit使用哪个目录来查找--文件？
在Spark中，spark-submit命令用于提交Spark应用程序到集群上运行。它使用--files选项来指定要在集群上分发的文件。spark-submit使用以下目录来查找这些文件：
- 当前工作目录：spark-submit首先在当前工作目录中查找指定的文件。当前工作目录是运行spark-submit命令的目录。
- Spark配置目录：如果文件在当前工作目录中找不到，spark-submit将在Spark配置目录中查找。Spark配置目录是通过SPARK_CONF_DIR环境变量指定的，默认情况下为$SPARK_HOME/conf。
- Spark安装目录：如果文件既不在当前工作目录中，也不在Spark配置目录中，spark-submit将在Spark安装目录中查找。Spark安装目录是通过SPARK_HOME环境变量指定的。
需要注意的是，--files选项指定的文件将被分发到集群上的每个工作节点，并在应用程序中可用。这些文件可以是应用程序所需的任何资源，如配置文件、数据文件等。
推荐的腾讯云相关产品是腾讯云的云服务器CVM和弹性MapReduce（EMR）服务。
- 腾讯云云服务器CVM：腾讯云提供的弹性、可扩展的云服务器，可满足各种计算需求。您可以使用CVM来部署和运行Spark应用程序，并通过spark-submit命令将应用程序提交到CVM集群上运行。
- 腾讯云弹性MapReduce（EMR）：腾讯云的大数据处理和分析服务，提供了完全托管的Spark集群。您可以使用EMR来轻松地创建和管理Spark集群，并使用EMR的控制台或API提交Spark应用程序。
您可以通过以下链接了解更多关于腾讯云云服务器CVM和弹性MapReduce（EMR）的信息：
- 腾讯云云服务器CVM产品介绍：https://cloud.tencent.com/product/cvm
- 腾讯云弹性MapReduce（EMR）产品介绍：https://cloud.tencent.com/product/emr
相关·内容
1回答
Spark: spark-submit使用哪个目录来查找--文件？
apache-spark
我看到我们可以使用spark-submit --files将文件添加到作业中。如果我像spark-submit --files /etc/somescript.sh一样指定绝对路径，这不是问题。但是如果我只放入spark-submit --files somescript.sh，它会搜索什么目录呢？是当前的工作区文件夹还是所有的类路径？
浏览 59提问于2021-08-25得票数 1
2回答
通过Oozie运行火花作业
hadoop、apache-spark、oozie
是否有可能通过Oozie运行Spark (例如Spark作业)？谢谢。
浏览 0提问于2015-03-26得票数 2
回答已采纳
3回答
在运行一个简单的twitter情感分析代码时，获取jar和java.lang.ClassNotFoundException并不存在
java、scala、twitter、apache-spark
我在Scala2.10.4中使用了spark 1.3.1。我在某个地方读到TwitterUtils不适合somewhere 1.0+，所以我尝试了一个解决办法。根据scala的books..the正确的目录结构，一切似乎都已经就绪，这是一个使用sbt程序集的胖jar，正确的路径，但是seems无法拾取jar文件，我也用它获得了一个ClassNotFoundException(SparkSubmit.scala)lazy val root = (project
浏览 4提问于2015-07-23得票数 3
1回答
脚本可以在shell中运行，但不能在Ruby中运行
ruby、bash、shell
spark-submit --master yarn-cluster \ --files ... \ -otherflagsRuby返回即使spark-submit在系统路径中。更令人困惑的是：在Ruby中，似乎可以正确地调用shell命令。
浏览 0提问于2016-08-18得票数 0
1回答
无法使用spark submit提交python应用程序
python、apache-spark、pyspark
我生成了一个.egg文件。现在我想在我的本地Windows上使用spark-submit命令运行我的Spark应用程序。我有Spark版本2.1.1
spark-submit --py-files local:///C:/git_local/sparkETL/dist/sparkETL-0.1-py3.6.egg driver.pyspark-submit --py-files local:&#x
浏览 22提问于2019-07-08得票数 1
回答已采纳
1回答
如何找到当前spark context中加载的所有textFile？
python、apache-spark、hadoop、pyspark
例如，当我在Spark Shell中使用PySpark时，我可能会使用以下命令将一个文件加载到spark上下文中：readme.count()
然而，我想知道的是，我如何才能获得已加载到sc (spark context)中的所有sc.textFile(s)的列表？_conf.getAll()
浏览 0提问于2019-05-19得票数 0
1回答
哪个目录包含用于Spark的第三方库
apache-spark
当我们使用哪个目录包含将加载到每个奴隶上的第三方库？我想要scp一个或多个库给每个奴隶，而不是传送应用程序uber-jar中的内容。注意:我确实尝试过添加但是，spark-submit仍然为添加的库中包含的类生成一个ClassNotFoundException。
浏览 1提问于2015-07-28得票数 1
1回答
文件名、目录名或卷标语法不正确。在使用spark-submit时
java、eclipse、apache-spark、command-line、spark-submit
我正在使用spark-submit来执行一个jar文件。Spark位于我的"C“驱动器中，而我的eclipse工作区位于"D”驱动器中。尽管我给出了jar文件的绝对路径，但我得到的错误是“文件名、目录名或卷标语法不正确”。下面是我用来运行spark-submit的命令：
C:\spark-2.1.0-bin-hadoop2.7\bin>spark-submit --clas
浏览 3提问于2017-02-10得票数 3
2回答
EC2 EMR未执行问题火花-提交未找到
amazon-web-services、apache-spark、amazon-ec2、amazon-emr
我已经在我的主EMR中在haddop会话中创建了一个sh文件来执行一个火花作业。执行文件看起来很像平常的样子：
SHELL=/bin/b
浏览 0提问于2018-08-08得票数 0
1回答
无法使用spark-submit使用本地文件
apache-spark
我正在尝试执行spark字数统计程序。我的输入文件和输出目录在本地，而不是HDFS上。当我执行代码时，我得到输入目录未找到异常。import org.apache.spark.SparkConf val提交：
spark-submit --class com.practice.WordCount sparkwordcount_2.11-0.1.j
浏览 6提问于2018-07-21得票数 0
回答已采纳
1回答
Pyspark:在归档文件中运行一个脚本
python、pyspark、hadoop-yarn
我有一个归档文件(基本上是捆绑的conda环境+我的应用程序)，我可以轻松地在纱线主模式下使用pyspark：spark-submit \我想用eg代替我的命令的最后一行。.我当然可以先把它提取出来，分别放在hdfs上.有一些解决办法，但由于我在一个很好的地方拥
浏览 1提问于2020-06-17得票数 1
回答已采纳
1回答
当我的spark应用程序的uber jar和spark-submit shell命令的--jars选项的内容都包含类似的依赖关系时，类加载的优先顺序是什么？
我是从第三方库集成的角度提出这个问题的。如果我将--jars设置为使用2.0版的第三方库，并且进入这个spark-submit脚本的uber jar是使用2.1版组装的，那么在运行时加载哪个类？目前，我考虑保留对hdfs的依赖，并将它们添加到spark-submit的--jars选项中，同时希望通过一些最终用户文档
浏览 2提问于2015-07-01得票数 9
回答已采纳
1回答
使用Submit以“本地”模式使用S3目录委员会写入S3A
scala、apache-spark、amazon-s3、pyspark、hdfs
我希望能够通过S3高效地输出拼花文件到。这个PySpark实例使用的是本地磁盘，而不是HDFS，因为它是通过spark-submit --master local[*]提交的。我可以在不启用目录提交器的情况下成功地写入我的S3实例。但是，这需要将暂存文件写入S3并重命名它们，这是缓慢和不可靠的。我希望斯派克将我的本地文件系统写成临时存储，然后复制到S3。我需要在PathOutputCommitProtocol中包含哪个JAR (特别是maven坐标)
一旦我开始工作
浏览 8提问于2021-12-24得票数 0
回答已采纳
1回答
装载火花-env.sh，火花-提交:没有这样的文件或目录
macos、apache-spark、pyspark
我正试图在我的iMac上安装apache，使用这2页上的说明：
酿制木桶安装java
brew安装java
/usr/local&
浏览 1提问于2021-01-18得票数 0
1回答
EMR Spark作业使用的执行器少于群集中的节点
apache-spark、emr
在不向spark-submit添加任何额外的配置参数的情况下，我想测试这个集群配置。但是，当我检查Spark UI时，我可以看到我的Spark作业只使用了2个执行器，并且我还注意到在Ganglia中有一个节点几乎没有做任何事情(就像它根本没有被使用过一样)。我可以做些什么来确保所有节点都能完成任务？
浏览 8提问于2018-01-29得票数 1
回答已采纳
3回答
如何从库伯内特斯进入火种壳？
bash、scala、apache-spark、kubernetes、google-cloud-platform
我已经使用将星火部署到GCE中的Kubernetes。根据values.yaml中的默认配置，Spark被部署到路径/opt/spark中。我已经通过运行kubectl --namespace=my-namespace get pods -l "release=spark"检查了Spark的成功部署。有1名船长和3名工人在运行。然而，当我试图通过从Google控制台执行spark-submit --version来检查Sp
浏览 1提问于2020-02-13得票数 1
回答已采纳
1回答
为nifi安装kylo特定服务时出错
installation、apache-nifi、kylo
在使用命令安装Nifi之后，有一步要安装kylo特定的组件，我安装了火花。
需要帮助。
浏览 0提问于2018-01-12得票数 0
回答已采纳
1回答
如何使用特定的用户将星火外壳保存到hdfs中
apache-spark、pyspark、apache-spark-sql、spark-streaming
使用intellijCommand的im使用ubuntuim使用火花依赖关系，没有找到，但是可以安装：..(当我在shell中输入火花时)，我有两个用户胺，和hadoop_amine (在其中设置了hadoop )procesed.write.format
浏览 2提问于2020-05-03得票数 0
回答已采纳
4回答
如何在单机环境下运行Apache spark Java程序
apache-spark
我已经为spark写了一个java程序，但是我不能从命令行运行它。hadoopnod@hadoopnod:~/spark-1.2.1/bin$ .: org.apache.spark.examples.SimpleApp at org.apache.spark.deploy.
浏览 0提问于2015-02-19得票数 2
2回答
提交星火集群时的FileNotFoundException
scala、cluster-computing、apache-spark、filenotfoundexception
我已经使用Apache Spark创建了一个小应用程序，当我在本地运行该应用程序时，一切运行正常。但是，当我将其提交到一个6节点集群时，我得到了一个FileNotFoundException，因为他找不到输入文件。 .saveAsTextFile("/data/detected")我使用以下命令提交申请：
/opt&#x
浏览 2提问于2014-09-22得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
