Pyspark学习笔记（二）--- spark-submit命令

Pyspark学习笔记（二）--- spark-submit命令

非交互式应用程序，通过spark-submit命令提交任务,官方讲解如下链接所示

http://spark.apache.org/docs/latest/submitting-applications.html#submitting-applications,

spark-submit脚本位于spark安装目录下的bin文件夹内，该命令利用可重用的模块形式编写脚本，

以编程方式提交任务到Spark上去，并可以支持不同的集群管理器和Spark支持的部署模式。

通用的spark-submit命令为：

${SPARK_HOME}/bin/spark-submit \

  --class <main-class> \

  --master <master-url> \

  --deploy-mode <deploy-mode> \

  --conf <key>=<value> \

  ... # other options

  <application-jar> \

  [application-arguments]

命令行参数

下面逐个介绍这些参数：

● -class: 应用程序的入口点 (e.g. org.apache.spark.examples.SparkPi)

--master：用于设置主结点URL的参数，常见下面四种形式：

http://spark.apache.org/docs/latest/submitting-applications.html#master-urls，

local：用于执行本地机器的代码。即spark进程运行在单机上，还可以选择本地系统中任意数量的CPU内核。

在local指令后面通过local[K]指定本地模式所使用的CPU内核数目，local[*]表示使用系统所有的CPU内核

spark: //host:port：这是一个Spark独立集群的主进程所在的主机地址和所监听的端口号。

mesos: //host:port：这是一个部署在Mesos的Spark集群的主机地址和端口号。

yarn：作为负载均衡器，根据 --deploy-mode 的值，以客户端client或群集模式cluster连接到YARN群集。

将基于HADOOP_CONF_DIR或YARN_CONF_DIR变量找到群集位置。

--deploy-mode：决定将驱动程序部署在工作节点(cluster)上还是作为外部客户端(client) 本地部署（默认:client)

--conf: 键值对格式的任意Spark配置属性；对于包含空格的值，将”key = value”括在引号中。

多个配置应作为单独的参数传递。 （例如--conf <key> = <value> --conf <key2> = <value2>）

<application-jar> 捆绑jar的路径，包括您的应用程序和所有依赖项。

该URL必须在群集内部全局可见， 例如，所有节点上都存在hdfs:// path或file:// path。

[For Python applications, simply pass a .py file in the place of <application-jar> instead of a JAR,

and add Python .zip, .egg or .py files to the search path with --py-files]

[application-arguments] 传递给主类主方法的参数（如果有）

### Other options

--name： 应用程序名称。

注意，创建SparkSession时，如果是以编程方式指定应用程序名称，那么来自命令行的参数会被重写。

--py-files：.py,.egg或者.zip文件的逗号分隔列表，包括Python应用程序，这些文件将被交付给每一个执行器来使用。

(这里提供的一般都是依赖性文件，需要运行的主应用程序文件，其实只需要新起一行写绝对路径即可,即写到前面的application-jar的位置)

--files： 命令给出一个逗号分隔的文件列表，这些文件将被交付给每一个执行器来使用。

--properties-file：配置文件。它应该有和conf/spark-defaults.conf文件相同的属性设置，也是可读的。

--driver-memory：指定应用程序在驱动程序上分配多少内存的参数。比如1000M，2G。默认值是1024M。

--driver-core: 指定驱动程序的内核数量，默认值为1。(yarn-cluster only)

--exectuor-memory：指定每个executor为应用程序分配多少内存。默认值是1G。

--total-executor-cores : 所有executor总共的核数。仅仅在mesos或者standalone下使用

--executor-core: 每个executor的核数。(Spark standalone and YARN only)，在yarn模式中默认值为1

--num-executors: 启动的executor数量。默认为2。(YARN-only)

--queue: 指定资源队列的名称,t (YARN-only)

--help：展示帮助信息和退出。

--verbose：在运行应用程序时打印附加调试信息。

--version：打印Spark版本。

##############################################################################################

更多的参数可以自己使用 --help 查看：