> **摘要**：spark-submit 是用 Spark 的第一道门槛。一条命令背后隐藏着 Driver 位置、资源分配策略、参数优先级、Standalone vs YARN 差异等大量关键决策。本文从 spark-submit 命令结构全景、Standalone-Client 与 YARN-Client 命令对比、六大核心参数详解、四种 Client 模式场景模板、参数优先级机制五个维度，配合 1 张原创深色架构图和完整可运行示例，让你彻底掌握 Spark Client 模式的提交命令。
>
> **关键词**：spark-submit, Client 模式, Standalone-Client, YARN-Client, --master, --deploy-mode, 参数体系, Driver 配置

---

## 一、开篇：你会写 spark-submit 吗？

先看一道面试题：

> 下面两条命令分别启动了哪种部署模式？Driver 运行在哪里？区别是什么？

```bash
# 命令 A
spark-submit --master spark://master:7077 --deploy-mode client app.jar

# 命令 B
spark-submit --master yarn --deploy-mode client app.jar
```

如果你能准确回答——说明你对 Spark 部署模式的参数体系已经有了系统理解。如果你犹豫了——这篇文章将帮你彻底理清 Client 模式的所有提交命令和参数。

---

## 二、spark-submit 命令全景图

![在这里插入图片描述](https://developer.qcloudimg.com/http-save/yehe-2482016/4c85bd44408754d945cc16757e6a0947.png)


### 2.1 通用命令结构

```bash
spark-submit [通用选项] [应用选项] [配置选项] <app-jar | python-file | R-file> [app-args]
```

每个选项组的作用：

| 选项组 | 前缀 | 核心参数 | 示例 |
|--------|------|----------|------|
| **通用选项** | `--master` `--deploy-mode` | 集群地址、部署模式 | `--master yarn` |
| **应用选项** | `--class` `--name` `--jars` | 主类、应用名、依赖 | `--class com.example.Main` |
| **Driver 配置** | `--driver-*` | Driver 内存、核心数 | `--driver-memory 2G` |
| **Executor 配置** | `--executor-*` `--num-executors` | Executor 资源 | `--executor-memory 4G` |
| **动态配置** | `--conf k=v` | 任意 Spark 配置 | `--conf spark.sql.shuffle.partitions=200` |

### 2.2 --master 决定了资源管理器

```bash
# Standalone
--master spark://master:7077

# YARN
--master yarn

# YARN HA（多个 RM）
--master yarn --conf spark.yarn.ha.enabled=true

# 本地测试
--master local[4]
```

### 2.3 --deploy-mode client 决定 Driver 位置

Client 模式的核心语义：**Driver 在提交客户端 JVM 中运行**。

```bash
# 显式指定（推荐）
--deploy-mode client

# 省略时的默认值（取决于 --master）
# --master spark://...     → 默认 client
# --master yarn             → 默认 client
# --master local[...]       → 始终 client
```

---

## 三、Standalone-Client 提交命令

### 3.1 完整模板

```bash
spark-submit \
  --master spark://master-node:7077 \
  --deploy-mode client \
  --class com.example.SparkApp \
  --name "my-standalone-client-app" \
  --driver-memory 2G \
  --driver-cores 2 \
  --executor-memory 4G \
  --executor-cores 2 \
  --total-executor-cores 8 \
  --conf spark.driver.port=4040 \
  --conf spark.driver.host=192.168.1.100 \
  --conf spark.default.parallelism=16 \
  --conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
  /path/to/my-app.jar \
  arg1 arg2
```

### 3.2 Standalone-Client 特有参数

| 参数 | 说明 | 默认值 |
|------|------|--------|
| `--total-executor-cores` | **总核心数**（Standalone 特有） | 所有 Worker 可用核心 |
| `--executor-cores` | 每个 Executor 核心数 | 1 |
| `--driver-cores` | Driver 核心数（本地 JVM） | 1 |

**注意**：Standalone 没有 `--num-executors`——Executor 数量由 `--total-executor-cores / --executor-cores` 自动计算。

### 3.3 spark-shell（交互式 Client）

```bash
# spark-shell 默认就是 Standalone-Client 模式
spark-shell \
  --master spark://master:7077 \
  --executor-memory 4G \
  --total-executor-cores 8
# 等价于 --deploy-mode client（默认值）
```

---

## 四、YARN-Client 提交命令

### 4.1 完整模板

```bash
spark-submit \
  --master yarn \
  --deploy-mode client \
  --class com.example.SparkApp \
  --name "my-yarn-client-app" \
  --driver-memory 2G \
  --executor-memory 4G \
  --executor-cores 2 \
  --num-executors 8 \
  --conf spark.yarn.am.memory=1G \
  --conf spark.yarn.am.cores=1 \
  --conf spark.yarn.queue=default \
  --conf spark.yarn.maxAppAttempts=2 \
  --conf spark.eventLog.enabled=true \
  --conf spark.eventLog.dir=hdfs:///spark-logs \
  /path/to/my-app.jar
```

### 4.2 YARN-Client 特有参数

| 参数 | 说明 | 默认值 |
|------|------|--------|
| `--num-executors` | 固定 Executor 数量 | 2 |
| `spark.yarn.am.memory` | AM(ExecutorLauncher) 内存 | 1G |
| `spark.yarn.am.cores` | AM 核心数 | 1 |
| `spark.yarn.queue` | YARN 队列 | default |
| `spark.yarn.maxAppAttempts` | AM 最大重试次数 | 2 |

### 4.3 spark-shell on YARN

```bash
spark-shell \
  --master yarn \
  --deploy-mode client \
  --executor-memory 4G \
  --num-executors 8
```

---

## 五、Standalone-Client vs YARN-Client 命令差异速记

```bash
# ======== Standalone-Client ========
spark-submit \
  --master spark://master:7077 \
  --deploy-mode client \
  --total-executor-cores 8 \          # ← 总核心数控制并行度
  --executor-memory 4G \
  app.jar

# ======== YARN-Client ========
spark-submit \
  --master yarn \
  --deploy-mode client \
  --num-executors 8 \                 # ← 固定 Executor 数量
  --executor-memory 4G \
  --conf spark.yarn.queue=default \   # ← YARN 专属
  app.jar
```

| 维度 | Standalone-Client | YARN-Client |
|------|-------------------|-------------|
| 资源指定 | `--total-executor-cores` | `--num-executors` |
| Master 地址 | `spark://host:7077` | `yarn` |
| 队列管理 | 无 | `spark.yarn.queue` |
| AM 配置 | 无 | `spark.yarn.am.*` |
| 日志聚合 | 无 | HDFS 事件日志 |

---

## 六、参数优先级机制

Spark 参数有三层来源，优先级从高到低：

```
优先级：--conf k=v  >  --<parameter>  >  spark-defaults.conf  >  代码中的 set()
       (命令行最高)  (专用选项)      (配置文件)           (代码最低)
```

**相同参数冲突时，后指定的覆盖前指定的：**

```bash
# --executor-memory 最终为 8G（后指定的生效）
spark-submit \
  --executor-memory 4G \
  --executor-memory 8G \
  app.jar
```

---

## 七、四种 Client 模式实战场景

### 场景 1：本地开发调试

```bash
spark-submit \
  --master local[4] \
  --driver-memory 2G \
  my-app.jar
```

### 场景 2：Standalone 集群交互分析

```bash
spark-shell \
  --master spark://master:7077 \
  --executor-memory 8G \
  --total-executor-cores 16
```

### 场景 3：YARN 集群生产级提交

```bash
spark-submit \
  --master yarn \
  --deploy-mode client \
  --driver-memory 4G \
  --executor-memory 8G \
  --executor-cores 4 \
  --num-executors 20 \
  --conf spark.yarn.queue=production \
  --conf spark.sql.shuffle.partitions=400 \
  etl-job.jar 2025-01-01
```

### 场景 4：Python PySpark on YARN

```bash
spark-submit \
  --master yarn \
  --deploy-mode client \
  --executor-memory 4G \
  --num-executors 8 \
  --conf spark.pyspark.python=/usr/bin/python3 \
  my-ml-pipeline.py --input hdfs:///data/raw
```

---

## 八、总结

| 要点 | 一句话总结 |
|------|-----------|
| **命令结构** | `spark-submit [通用] [应用] [配置] <jar>` |
| **--master** | 决定资源管理器：`spark://` vs `yarn` vs `local` |
| **--deploy-mode** | Client = Driver 在提交客户端 |
| **资源参数** | Standalone 用 `--total-executor-cores`，YARN 用 `--num-executors` |
| **优先级** | `--conf` > `--param` > `spark-defaults.conf` > 代码 |

> **金句**：掌握 spark-submit 命令不是目的——通过命令理解 Driver 在哪、资源如何分配、参数如何覆盖，才是工程师的竞争力所在。

---

<p style="margin-top:20px;padding-top:10px;border-top:1px solid #eee;font-size:14px;color:#999;text-align:center;line-height:2;">
作者：starzy  |  AI Data Engineer / 大数据技术实践者<br/>
博客：blog.starzy.cn  |  GitHub：starzy1990.github.io<br/>
专注 AI Agent · LangGraph · RAG · 大数据架构 · 数据工程实践
</p>

摘要：spark-submit 是用 Spark 的第一道门槛。一条命令背后隐藏着 Driver 位置、资源分配策略、参数优先级、Standalone vs YARN 差异等大量关键决策。本文从 spark-submit 命令结构全景、Standalone-Client 与 YARN-Client 命令对比、六大核心参数详解、四种 Client 模式场景模板、参数优先级机制五个维度，配合 1 张原创深色架构图和完整可运行示例，让你彻底掌握 Spark Client 模式的提交命令。

Spark 核心之 Client 模式提交命令和特点分析

摘要：spark-submit 是用 Spark 的第一道门槛。一条命令背后隐藏着 Driver 位置、资源分配策略、参数优先级、Standalone vs YARN 差异等大量关键决策。本文从 spark-submit 命令结构全景、Standalone-Client 与 YARN-Client 命令对比、六大核心参数详解、四种 Client 模式场景模板、参数优先级机制五个维度，配合 1 张原

编程语言

spark-submit命令全面解析，深入对比Standalone-Client与YARN-Client模式差异。涵盖六大核心参数详解、参数优先级机制、四种实战场景模板，配合架构图与可运行示例，助你掌握Driver位置、资源分配策略及部署模式选择，提升Spark任务提交效率。

数据架构

代码解释

大数据

LangGraph

Python

GitHub

Spark 

HDFS

Yarn

2026上云采购 | AI焕新·智启新局

bigdata-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Spark 核心之 Client 模式提交命令和特点分析-腾讯云开发者社区-腾讯云

Spark 核心之 Client 模式提交命令和特点分析

Spark 核心之 Client 模式提交命令和特点分析

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐