是一个核心抽象，用于描述数据在分布式环境中的物理分布方式，确保数据在分布式处理中的高效性和正确性。它的主要作用包括：

：是数据在逻辑上的划分，RDD#getPartitions 方法获取partition列表，

，由单个 Executor 处理。Spark 通过控制分区数量和分布来优化并行度。

物理计划中的每个操作（如聚合、Join）会声明其所需的Distribution（例如ClusteredDistribution）。通过

方法检查当前数据的分区（Partitioning）是否满足需求：

：当一个分区不能满足要求的分布时，就需要进行reshuffle操作。reshuffle操作需要知道哪一行到了哪一个分区，以满足分配要求。将输入行映射到指定分区ID的逻辑是由一个partitioner（分区器）提供的。

Partitioner的作用是定义键值对RDD（如RDD[(K, V)]）中元素如何根据键（key）进行分区。具体来说：

Spark根据RDD之间的依赖关系进行Stage划分，从

开始倒序划分，当遇到窄依赖类型的操作时，则划分到同一个执行阶段；遇到宽依赖操作，则划分一个新的执行阶段，且新的阶段为之前阶段的Parent，之前的阶段称作Child Stage，然后依次类推递归执行。

之间根据依赖关系构成DAG有向无环图[6]。

Shuffle是Spark的主要性能瓶颈之一

，涉及磁盘IO，数据序列化和网络IO等。

在Spark中，Stage代表一组可以并行执行的任务集，基于宽依赖划分。Stage分为两种类型：

由于Task是Stage基于分区Partition的并行调度任务集

，因此Task类型也分为两种：ShuffleMapTask、ResultTask。一个Stage中只会存在同一种Task，最后的action操作对应ResultTask，其余的Stage对应ShuffleMapTask。

CTE(Common Table Expressions) 公共表表达式，CTE展开形式可分为如下几类[5]：

：将CTE结果集存储在内存或磁盘中，以便后续查询重复使用。Spark SQL在执行递归CTE查询时，可能会物化中间结果，以提高查询效率。

AQE自适应查询执行，是Spark SQL动态优化机制。在运行时，当

AQE结合该阶段的统计信息，基于规则动态调整尚未执行的物理计划

：插入AdaptiveSparkPlanExec 物理算子作为AQE根节点，基于AQE的逻辑优化和物理优化重新生成物理算子。

Spark SQL(五)：基本概念-物理属性&Shuffle

本文介绍Spark物理属性&shuffle&CTE&AQE的基本概念

后台开发工程师

后端

大数据

算法

Spark核心概念解析：Distribution分布控制数据分区规则，Partitioning定义逻辑划分，Partitioner实现键值映射。Shuffle过程涉及宽窄依赖，Stage分为ShuffleMap和Result类型。AQE机制动态优化Join策略、分区合并及倾斜处理，提升SparkSQL执行效率。CTE支持物化与内联优化，实现高效递归查询。

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

Spark核心概念解析：Distribution分布控制数据分区规则，Partitioning定义逻辑划分，Partitioner实现键值映射。Shuffle过程涉及宽窄依赖，Stage分为ShuffleMap和Result类型。AQE机制动态优化Join策略、分区合并及倾斜处理，提升SparkSQL执行效率。CTE支...

Spark SQL(五)：基本概念-物理属性&Shuffle

Spark SQL(五)：基本概念-物理属性&Shuffle

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐