spark-submit适用于纱线集群模式，但SparkLauncher不适用，参数相同
spark-submit是Apache Spark提供的一个命令行工具，用于提交Spark应用程序到集群中运行。它适用于纱线集群模式，可以将应用程序打包成一个JAR文件，并通过spark-submit命令将其提交到集群中执行。
SparkLauncher是Spark提供的一个Java API，用于以编程方式启动和管理Spark应用程序。与spark-submit不同，SparkLauncher不适用于纱线集群模式。它主要用于在独立模式下启动和管理Spark应用程序，或者在本地模式下进行开发和测试。
参数相同指的是spark-submit和SparkLauncher在提交Spark应用程序时可以使用相同的参数。这些参数包括应用程序的主类名、应用程序的JAR文件路径、应用程序的依赖库、应用程序需要的资源等。通过这些参数，可以配置和定制Spark应用程序的运行环境和行为。
总结：
- spark-submit是一个命令行工具，用于提交Spark应用程序到集群中运行，适用于纱线集群模式。
- SparkLauncher是一个Java API，用于以编程方式启动和管理Spark应用程序，不适用于纱线集群模式。
- spark-submit和SparkLauncher可以使用相同的参数来配置和定制Spark应用程序的运行环境和行为。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
相关·内容
1回答
我尝试在我的java应用程序中“运行”spark作业，搜索，我发现了以下两种方法：ClientsArguments和SparkLauncher。
有人能给我解释一下这两者之间的区别吗？
浏览 0提问于2016-08-29得票数 0
我可以通过spark-submit提交一个spark作业，但是当我尝试使用SparkLauncher以编程方式提交同样的作业时，我什么也没有得到(我甚至在UI上都看不到Spark作业) 以下是场景：下面的spark-submit就像预期的那样工作，并且spark作业是以纱线集群模式提交的 spark-submit \ --class com.digital.StartSparkJob没有得到正确的环境变量来处理，所以我向<
浏览 36提问于2019-03-22得票数 1
回答已采纳
我已经尝试了以下所有选项
spark-submit --master yarn --class financialLineItem.FinancialLineItems3://trfsmallfffile/AJAR/SparkJob-0.1
浏览 5提问于2018-01-15得票数 0
我想上传一个文件使用spark-submit \ --files /home/user/test.csv\我阅读了星火文档，它建议我使用SparkFiles.get("test.csv")，但这并不适用于纱线集群模式。如果将部署
浏览 3提问于2018-06-19得票数 1
我试图在纱线模式下运行，我已经通过了env_vars。不过，SPARK_MAJOR_VERSION还没有设置。07:03,526] {logging_mixin.py:95} INFO - [2019-03-11 21:07:03,526] {spark_submit_hook.py:283} INFO - Spark-Submitcmd: [u'/usr/bin/spark-submit', '--master', 'yarn:/X
浏览 0提问于2019-03-05得票数 1
本地模式下的作业执行成功，但是当我在纱线集群模式下启动相同的作业时，它会抛出ExceptionInInitializerError。本地模式命令：ts-0.0.1-SNAPSHOT.jar \-ip /user/
浏览 1提问于2016-08-29得票数 1
回答已采纳
1回答
通过将spark集群配置为spark-standalone，我们正在尝试配置spark-submit作业以利用由pipenv管理的虚拟环境。spark-submit命令当前为：
PYSPARK_DRIVER_PYTHON=./.venv/bin/python \ spark-submit --py-files site.zip src/app.py其思路是，--py-files参数应该将site.zip解压到执行器上的工作目录中，并且应该使用python路径上可用的
浏览 12提问于2018-02-14得票数 4
我能够在本地模式以及纱线-客户端模式下运行此代码。但是，当我使用纱线-集群模式运行相同的代码时，我得到的代码与Error initializing SparkContext相同。val os = file.create(new Path(uri))os.close()}
当我使用本地模式和纱线<
浏览 2提问于2017-01-27得票数 3
4回答
火花对纱线概念的认识
、、、
我正试图了解星火如何在纱线集群/客户端上运行。我脑子里有一个问题。
是否有必要在纱线簇的所有节点上安装火花？我认为应该是因为集群中的工作节点执行一个任务，并且应该能够解码由驱动程序发送到集群中的代码(火花API)？它在文档中写道，“确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录”。为什么客户端节点在将作业发送到集群时必须安装Hadoop？
浏览 3提问于2014-07-23得票数 42
回答已采纳
我正在尝试运行我自己的spark应用程序，但是当我使用spark-submit命令时，我得到了这个错误：我使用以下命令：
/Users/_name_here/dev/spark/bin/spark-submit从spark根
浏览 8提问于2015-08-13得票数 9
回答已采纳
1回答
纱线火花作业调度较慢
、、、、
on bare-metal servers, 8 nodes with 128g of memory/32 cores eachdf=hc.sql("select在群集1上，整个操作在30分钟内完成，而对于较大的集群2，则需要90分钟才能完成相同的操作。经过检查，我发现虽然每个作业花费的时间几乎相同(集群2中的时间稍微快一点)，但每个作业之间的时间在2中比1中要高得多。
驱动程序和执行
浏览 2提问于2017-01-26得票数 3
3回答
有关火花提交的文件如下：
您还可以使用bin/pyspark启动交互式Python。这个问题听起来很愚蠢，但是当我通过pyspark运行命令时，它们也运行在“集群”上，对吗？它们不只是在主节点上运行，对吗？
浏览 0提问于2016-04-28得票数 4
回答已采纳
在Apache中，Smart-submit.sh如何在不同的模式和不同的集群管理器中工作？具体地说：
在程序员看来
浏览 1提问于2020-03-14得票数 3
4回答
我在ClouderaCDH5.3集群上运行了Spark，使用Spark作为资源管理器。我正在用Python (PySpark)开发火花应用程序。我可以提交作业，它们可以成功地运行，但是它们似乎从来不运行在多台机器上(我提交的本地机器)。我尝试过多种选择，比如将部署模式设置为集群，--主从于纱线客户端和纱线集群，但它似乎从未在多台服务器上运行过。我可以通过传递类似--主local8之类的东西，让它在多个核心上运行，但这显然不会在多个节点上分发处理。joe
浏览 3提问于2015-01-30得票数 12
回答已采纳
我使用spark-submit来运行我的spark程序，我使用--deploy-mode client和--master yarn-client来设置parameter.My问题：
Q1:是不是说--deploy-modeQ2：--deploy-mode客户端是否意味着我的程序只在一台机器上运行，而不是在集群上运行，因为我在日志中找到了以下信息:所有任务在本地主机上完成。
浏览 0提问于2015-12-29得票数 3
1回答
当我以相同的方式启动主程序和辅助程序时，但是在eclipse中创建scala项目并连接到主程序时，如下所示：
val sparkSession = SparkSession.builder..appName
浏览 1提问于2017-07-14得票数 1
回答已采纳
2回答
按给定集群配置Spark
、、、、
我必须用python将一些应用程序发送到Apache Spark集群。这里给出了一个集群管理器和一些工作者节点，这些节点具有要将应用程序发送到的地址。我的问题是，如何在我的本地计算机上设置和配置Spark，以便将这些请求与要计算的数据一起发送到集群？
我正在使用Ubuntu 16.xx，并且已经安装了java和scala。我已经搜索了inet，但最多的发现是如何构建集群或一些旧的建议如何做，这是过时的。
浏览 16提问于2016-09-16得票数 0
回答已采纳
我有一个集群，其中我们有集成了spark的hadoop设置。spark版本是spark v2.0.0，当您在集群模式下部署scala spark时，它可以正常工作。以下是命令：spark-submit --class org.apache.spark.examples.SparkPi --deploy-mode cluster --master yarn /usr/local/spark-bkp-24apr/examples/jars/spark-examples
浏览 25提问于2019-02-14得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
