blocks|key|2831749|text|有两个不同之处|type|unstyled|depth|inlineStyleRanges|entityRanges|data|2831750|在洗牌期间，|2831751|保存中间数据(需要在节点间移动的数据)，以避免重新洗牌。这在Spark中作为跳过的阶段得到了反映。使用缓存/持久化，您正在缓存处理过的data.|ordered-list-item|offset|length|style|BOLD|2831752|You，它控制了需要缓存的数据，但是您没有对缓存洗牌数据的显式控制(它是幕后的optimization).|2831753|+)|2831754|entityMap^0|0|0|2|H|0|0|0^^$0|@$1|2|3|4|5|6|7|Q|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|R|8|@]|9|@]|A|$]]|$1|D|3|E|5|F|7|S|8|@$G|T|H|U|I|J]]|9|@]|A|$]]|$1|K|3|L|5|F|7|V|8|@]|9|@]|A|$]]|$1|M|3|N|5|6|7|W|8|@]|9|@]|A|$]]|$1|O|3|-4|5|6|7|X|8|@]|9|@]|A|$]]]|P|$]]

Two differences come to mind
<ol>
<li>During shuffle, intermediate data (data that need to be shuffled across nodes) gets saved so as to avoid reshuffling. This gets reflected in Spark UI as skipped stages. With cache/persist, you are caching the processed data.</li>
<li>You are in control of what need to be cached but you doesn't have explicit control on caching shuffled data (it is behind the scenes optimization).</li>
</ol>

blocks|key|2831774|text|type|unstyled|depth|inlineStyleRanges|entityRanges|data|2831775|缓存/持久化调用提供了什么好处？|blockquote|2831776|2831777|2831778|我马上想到的一个例子是火花读取过程，如果您从文件系统读取一些数据，并且对它执行两组不同的转换(以及最后的操作)，您将加载两次源数据(您可以检查您的UI，您将看到两个加载)，但是如果您缓存它，加载过程只会发生一次。|2831779|2831780|缓存/持久化发生在内存中，因此唯一的好处是它不会从磁盘读取|2831781|2831782|2831783|不，缓存和持久化发生在不同的级别上，内存是默认级别:请在这里查看：https://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-persistence|offset|length|2831784|entityMap|0|LINK|mutability|MUTABLE|url|https://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-persistence^0|0|0|0|0|0|0|0|0|0|X|27|0|0^^$0|@$1|2|3|-4|4|5|6|Y|7|@]|8|@]|9|$]]|$1|A|3|B|4|C|6|Z|7|@]|8|@]|9|$]]|$1|D|3|-4|4|5|6|10|7|@]|8|@]|9|$]]|$1|E|3|-4|4|5|6|11|7|@]|8|@]|9|$]]|$1|F|3|G|4|5|6|12|7|@]|8|@]|9|$]]|$1|H|3|-4|4|5|6|13|7|@]|8|@]|9|$]]|$1|I|3|J|4|C|6|14|7|@]|8|@]|9|$]]|$1|K|3|-4|4|5|6|15|7|@]|8|@]|9|$]]|$1|L|3|-4|4|5|6|16|7|@]|8|@]|9|$]]|$1|M|3|N|4|5|6|17|7|@]|8|@$O|18|P|19|1|1A]]|9|$]]|$1|Q|3|-4|4|5|6|1B|7|@]|8|@]|9|$]]]|R|$S|$4|T|U|V|9|$W|X]]]]

<blockquote>
what benefit does cache/persist call provide?
</blockquote>
one example that comes to me at once is that the spark reading process, if you read some data from file system and you do two separate sets of transformations(and finally action) on it, you will load two times the source data(you can check your UI and you will see two loads), but if you cache it, the load process will only happen once.
<blockquote>
cache/persist happens in memory so the only benefit is that it won't
read from the disk
</blockquote>
nope, cache and persist happen in different levels and memory is the default level: check out here: <a href="https://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-persistence" rel="nofollow noreferrer">https://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-persistence</a>

blocks|key|1006040|text|是延迟评估的，如果您做了类似的事情|type|unstyled|depth|inlineStyleRanges|entityRanges|data|1006041|val+a+=+df1.join(df2)
val+b+=+a.groupBy(col).agg(...)
a.write.parquet(...)
b.write.parquet(...)|code-block|syntax|javascript|1006042|然后扫描df1和df2并加入两次，每次write操作一次。|offset|length|style|CODE|1006043|也就是说，除非您缓存或持久化它们。|1006044|对于洗牌的持久性完全是另一回事，它处理的是洗牌操作的内部--而不是影响您在应用层看到的东西。|1006045|entityMap^0|0|0|4|3|8|3|J|5|0|0|0^^$0|@$1|2|3|4|5|6|7|S|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|T|8|@]|9|@]|A|$E|F]]|$1|G|3|H|5|6|7|U|8|@$I|V|J|W|K|L]|$I|X|J|Y|K|L]|$I|Z|J|10|K|L]]|9|@]|A|$]]|$1|M|3|N|5|6|7|11|8|@]|9|@]|A|$]]|$1|O|3|P|5|6|7|12|8|@]|9|@]|A|$]]|$1|Q|3|-4|5|6|7|13|8|@]|9|@]|A|$]]]|R|$]]

Spark dataframes are lazy evaluated and if you do something like
<pre><code>val a = df1.join(df2)
val b = a.groupBy(col).agg(...)
a.write.parquet(...)
b.write.parquet(...)
</code></pre>
then <code>df1</code> and <code>df2</code> will be scanned and joined twice, once in each <code>write</code> operation.
That is, unless you cache or persist them.
Persistence for shuffle is a different thing altogether, and deals with the internals of the shuffle operation - not something that impacts what you see at the application layer.

I am trying to understand the benefit of spark caching/persist mechanism
AFAIK, spark always persists the RDDs after a shuffle as an optimizaiton. So what benefit does cache/persist call provide? I am assuming the cache/persist happens in memory so the only benefit is that it won't read from the disk, correct?

Spark cache/persist vs shuffle files

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

我试图理解火花缓存/持久化机制的好处。AFAIK，火花总是坚持RDDs后，洗牌作为一个优化。那么，缓存/持久化调用提供了哪些好处？我假设缓存/持久化发生在内存中，所以唯一的好处是它不会从磁盘读取，对吗？

问火花缓存/持久化vs洗牌文件
EN

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问火花缓存/持久化vs洗牌文件EN

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问火花缓存/持久化vs洗牌文件
EN