火花合并:当错误地将更多的分区值传递给参数时
火花合并:当错误地将更多的分区值传递给参数时
提问于 2021-11-02 11:13:09
不太确定这段代码将如何运行，让我们假设我们有12个分区，然后尝试执行df = df.coalesce(24) #increasing the partition
一旦执行
- ，它会创建24个分区吗？我故意保留它更多，我知道合并意味着减少分区。
- 或者它会随机减少分区，最后的分区将小于12?
。
回答 1
Stack Overflow用户
发布于 2021-11-02 11:27:36
以下是coalesce函数文档的摘录：
当请求的分区较少时，
返回一个新的数据集，该数据集恰好具有numPartitions分区。如果请求更多的分区，它将保持当前的分区数。
因此，如果df.coalesce(24)有12个分区，则df将返回包含12个分区的数据格式。
你可以用火花壳试一试：
scala> spark.range(100).repartition(12).rdd.getNumPartitions
res0: Int = 12
scala> spark.range(100).repartition(12).coalesce(24).rdd.getNumPartitions
res1: Int = 12页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69809431
复制相关文章
相似问题
腾讯云开发者
