无法使用spark-submit使用本地文件

文章/答案/技术大牛

发布

1回答

apache-spark

我的输入文件和输出目录在本地，而不是HDFS上。当我执行代码时，我得到输入目录未找到异常。) }Spark提交： spark-submitsparkwordcount_2.11-0.1.jar --files home/hmusr/ReconTest/inputdir/sample /home

浏览 6提问于2018-07-21得票数 0

回答已采纳

2回答

无法从本地文件路径读取文本文件- Spark阅读器

apache-spark-sql、spark-csv、databricks

我们使用Spark读取器读取CSV文件以转换为DataFrame，并且在yarn-client上运行作业，它在本地模式下运行良好。我们正在提交edge node中的火花作业。但是，当我们将文件放在本地文件路径而不是HDFS中时，我们将得到文件没有找到异常。

浏览 6提问于2016-12-24得票数 1

2回答

Pyspark:是否需要在项目中以-py-file参数的形式传递附加模块？

python、apache-spark、pyspark、project-structure、modular

─ logic.py│ ├── __init__.py我的开始脚本是main.py，它反过来在logic.py文件中调用逻辑函数我正在像spark-submit main.py一样运行我的项目哪条路是对的？这两种方式有

浏览 1提问于2017-11-08得票数 0

回答已采纳

1回答

我生成了一个.egg文件。现在我想在我的本地Windows上使用spark-submit命令运行我的Spark应用程序。我有Spark版本2.1.1 spark-submit --py-files local:///C:/git_local/sparkETL/dist/sparkETL-0.1-py3.6.egg driver.pyspark-submit --py-files local://

浏览 22提问于2019-07-08得票数 1

回答已采纳

4回答

无法访问pyspark中的本地文件。

apache-spark、pyspark

我试图在Yarn框架上以客户端模式读取本地文件。我也无法在客户端模式下访问本地文件。) main() spark-submit-383b899f79b0/userFiles-ee6dcdec-b320-433b-8491-311927c75fe2') ('

浏览 1提问于2018-10-18得票数 1

回答已采纳

1回答

spark-submit管道模型

apache-spark、docker、apache-spark-ml、spark-submit

我有一个运行在docker上的Apache Spark集群(1个主机+1个工人)，我可以使用spark-submit提交一个适合管道的作业，然后它被保存到(PipelineModel.save(path)).文件保存在我的本地机器上，恰好在我执行spark-submit命令的位置。我无法传递包含已保存文件的文件夹。作为备份解决方案，我们避免在Docker中使用spark-cluster，而是在Docker中切换到本地

浏览 2提问于2017-11-16得票数 2

1回答

从HDInsight OnDemand连接到SQL数据仓库

scala、azure-hdinsight、azure-data-factory、mssql-jdbc、azure-sqldw

我试过了将文件从%user%.m2\repository\com\microsoft\sqlserver\mssql-jdbc\6.2.2.jre8复制到blob存储中，该文件夹名为jars，旁边是构建的火花代码在构建的jar文件中包括驱动程序依赖项。

浏览 1提问于2018-01-02得票数 1

1回答

在火花中纱线模式和部署模式有什么不同？

apache-spark、hadoop-yarn

.spark-submit --masterhave Spark Driver.spark-submitclient mode and deploy cluster mode. # cluster have YARN Contain

浏览 4提问于2021-12-22得票数 -1

回答已采纳

1回答

如何在霍顿工作虚拟机上的星火上运行.jar？

java、hadoop、virtual-machine、hortonworks-data-platform

我正在斯帕克上运行一个.jar文件。通常，我在Windows上通过运行 spark-submit --driver-memory 4g --class en.name.ClassName %CODE%/target/program.jar但是由于我需要Hive，所以我想我应该搬到Hortonworks进行本地测试。现在，我已经通过Hortonworks的Ambari的HDFS将我的.jar和输入文件上传到HDFS (到/tmp/my_code目录)。下一步呢？我如何指出VM在HDFS

浏览 0提问于2016-07-19得票数 1

回答已采纳

1回答

使用Submit以“本地”模式使用S3目录委员会写入S3A

scala、apache-spark、amazon-s3、pyspark、hdfs

我目前正在通过本地模式运行PySpark。我希望能够通过S3高效地输出拼花文件到。这个PySpark实例使用的是本地磁盘，而不是HDFS，因为它是通过spark-submit --master local[*]提交的。我可以在不启用目录提交器的情况下成功地写入我的S3实例。但是，这需要将暂存文件写入S3并重命名它们，这是缓慢和不可靠的。我希望斯派克将我的本地文件系统写成临时存储，然后复制到S3。--packages，我需要在PathOutputCom

浏览 8提问于2021-12-24得票数 0

回答已采纳

1回答

如何从spark运行一个独立的jar。

java、apache-spark

/spark在独立主机上提交这个jar文件时，一切正常。当我通过在命令行中将Yarn设置为master切换到集群模式时，我得到了许多在HDFS中找不到文件的错误。这里有一些问题：SparkConf conf = new SparkConf().setMaster("yarn-cluster").setAppName("TibcoMessageConsumer

浏览 0提问于2017-07-13得票数 2

1回答

spark-提交从本地到群集的文件传输

apache-spark

我正在使用spark-submit集群模式从本地向spark集群提交作业。我需要在本地机器和spark集群之间来回传输输入文件、输出文件和作业日志文件。使用文件传输的任何推荐方法。有没有什么未来的计划，spark将支持文件从群集传输到本地，反之亦然。

浏览 2提问于2015-07-27得票数 0

3回答

如何在cmd上提交spark申请

java、eclipse、maven、apache-spark、cmd

我有一个Spark应用程序，它是我最初使用maven (在windows上)创建的。我将我的maven项目转换为Eclipse项目，现在我正在通过Eclipse处理它。我使用spark-submit命令，如下所示： --class C:\Users\pc\Desktop\eclipse\myapp\src\main\javamyapp\Main.java \ C:\Users\pc\Desktop\eclipse\myjar.

浏览 3提问于2016-06-16得票数 3

回答已采纳

2回答

如何使用spark-submit在Kubernetes (minikube)上提交PySpark作业

apache-spark、amazon-s3、kubernetes、pyspark

我的笔记本电脑上有一个本地的PySpark作业。如果我想使用spark-submit在minikube集群上提交它，你知道如何传递python文件吗？./spark-submit \ --deploy-mode cluster \file '/Users/

浏览 1提问于2020-05-10得票数 1

2回答

如何将spark的整个输出重定向到一个文件

linux、bash、apache-spark

因此，我尝试将apache spark-submit命令的输出重定向到文本文件，但一些输出无法填充文件。下面是我使用的命令：我可以在终端中看到输出，但在文件中看不到它。我在这里忘记或做错了什么？编辑：spark-submit something.py | less 我可以看到所有的输出都被输送到less中

浏览 2提问于2017-09-26得票数 11

回答已采纳

1回答

Spark-提交错误-无法从JAR文件加载主类

apache-spark、pyspark、hue

我试图用Spark在Hadoop上运行，但是我有一个"Cannot load main class from JAR file“错误。我该如何解决这个问题呢？

浏览 0提问于2018-05-09得票数 1

1回答

spark-submit -无法解析主url

apache-spark

我在Windows10机器上使用spark-submit执行spark作业时遇到错误。该命令为： c:\workspaces\Spark2Demo>spark-submit --class retail_db.GetRevenuePerOrder --master local .GetRevenuePerOrder.scala:7) at retail_db.GetRevenuePerOrder.main(GetRevenuePerOrder.scala) 该文件存在

浏览 49提问于2019-03-12得票数 1

回答已采纳

1回答

使用远程SparkContext在纱线上运行火花作业:纱线应用程序已经结束

scala、apache-spark、hadoop-yarn

org.apache.spark" %% "spark-core" % sparkV, )我使用

浏览 2提问于2016-03-09得票数 2

回答已采纳

1回答

如何在linux终端上运行spark scala程序？

linux、scala、apache-spark、terminal、apache-spark-sql

在pyspark中，我对python文件使用spark-submit。现在，我想对我的scala程序执行同样的操作。我不想使用Intellij或用spark-shell编写我的程序。我只想在编辑器中编写代码，并在终端中使用命令来运行它。这有可能吗？提前谢谢你

浏览 16提问于2018-08-17得票数 0

回答已采纳

1回答

读取pyspark中的文本文件并将其发送给

python、python-2.7、apache-spark、pyspark、spark-submit

假设我运行一个python，(file1.py)，它接受一个文本文件作为参数。但是pyspark不适用于我，通常，我使用的是火花提交！所以当在本地模式下使用submit运行时，它会给出以下错误 File "/home/noorhadoop/Desktop/folder1/bin/spark-submit --master local[3] /home&#

浏览 4提问于2017-03-30得票数 0

回答已采纳

点击加载更多