什么时候可以取消RDD的持久化？
RDD的持久化可以在任何时候取消，具体取决于应用程序的需求和场景。以下是一些常见的取消RDD持久化的情况：
- 数据不再需要持久化：当RDD的数据不再需要在后续的计算中使用时，可以取消持久化以释放存储资源。例如，当某个RDD被缓存以供多次使用，但在后续计算中不再需要使用它时，可以取消持久化。
- 存储资源紧张：当存储资源变得紧张时，可以取消RDD的持久化以释放存储空间。这种情况通常发生在集群资源有限或者其他需要更重要的数据存储的情况下。
- 数据更新频繁：如果RDD的数据源频繁更新，而且每次更新后的数据都不同，那么持久化可能不再有意义。在这种情况下，可以取消持久化以避免存储过时的数据。
需要注意的是，取消RDD的持久化并不会立即删除已经持久化的数据，而是在下一次RDD计算时，Spark会自动将持久化的数据从存储中删除。此外，取消持久化后，如果后续需要使用相同的RDD数据，Spark将重新计算并缓存该RDD。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云计算服务：https://cloud.tencent.com/product/cvm
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云云数据库（TencentDB）：https://cloud.tencent.com/product/cdb
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云原生容器服务（TKE）：https://cloud.tencent.com/product/tke
- 腾讯云人工智能（AI）：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）：https://cloud.tencent.com/product/iot
- 腾讯云移动开发（移动推送、移动分析等）：https://cloud.tencent.com/product/mobile
- 腾讯云区块链服务（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙服务（Tencent XR）：https://cloud.tencent.com/product/xr
相关·内容
0回答
我有一个被多次调用的方法。此方法如下所示： val newRDD = myRDD.map(.....我想取消持久化newRDD，因为该方法被多次调用，并且我不想要4个不同缓存的newRDDs副本。separateGoodAndBad(secondRDDTransformed)
val thirdRDDTransformed = doStuffT
浏览 3提问于2017-12-02得票数 0
回答已采纳
如何取消持久化在没有引用的MLlib模型中生成的RDD？我知道在pyspark中，你可以用sqlContext.clearCache()解压所有的数据帧，除了scala API中的RDDs之外，还有类似的东西吗？此外，有没有一种方法可以只取消一些RDDs的持久化，而不必取消所有RDDs的持久化
浏览 2提问于2017-02-07得票数 6
回答已采纳
当我们想不止一次使用RDD时，我们可以将它持久化到内存和/或磁盘中。但是，我们以后是否必须自己取消它，或者当不再需要RDD时，火花是否会进行某种类型的垃圾收集和不持久化？我注意到，如果我自己调用非持久化函数，性能就会变慢。
浏览 2提问于2015-09-17得票数 32
回答已采纳
我正在实现一个星星之火应用程序，下面是一个示例片段(不是完全相同的代码)：val rdd2 = rdd1.map(func)println(rdd2.count)
在检查中这段代码的性能时，我看到了count操作的一个条目，但没有看到persist的条目。此计数操作的</
浏览 3提问于2017-05-16得票数 15
回答已采纳
1回答
我正在使用一个spark程序，它需要在循环中不断更新一些RDD：for (iter <- 0 until config.numWalks) { clickNode.path.mkStringtotalRandomPath = totalRandomPath.union(randomPath)
浏览 0提问于2019-02-24得票数 0
1回答
如果你在dataset2上做一个转换，那么你必须持久化它，并将它传递给dataset3，然后取消持久化前一个？谢谢
浏览 0提问于2015-11-23得票数 3
在一个方法中，我创建了一个新的RDD，并对它进行缓存，在RDD超出作用域之后，Spark是否会自动取消rdd的持久化？
我是这么想的，但到底发生了什么？
浏览 0提问于2015-04-23得票数 3
回答已采纳
2回答
如果我从HDFS中在我的RDD外壳中创建了10个pySpark，这是否意味着所有这10个RDD的数据都将驻留在Spark内存中？
如果我不删除RDD，它会永远存在于记忆中吗？如果我的数据集(文件)大小超过可用RAM大小，数据将存储在哪里？
浏览 5提问于2016-11-22得票数 21
回答已采纳
我缓存了一个非常大的RDD (它仍然可以放在内存中)，但是因为它太大了，所以我想尽快取消它。(RDD.scala:216)
val transformation2 = secondTransformation(transformation1).cache
transformation1.
浏览 0提问于2017-11-22得票数 5
在进行即席数据分析时，我遇到了一个非常简单但令人沮丧的模式：
您将rdd1缓存在内存中，然后将rdd2缓存在内存中，由于内存限制，这会将rdd1逐出到磁盘。如果你要取消持久化rdd2，有没有什么办法让spark把rdd1移回内存呢？
浏览 0提问于2020-04-10得票数 0
1回答
我正在阅读，我不明白这意味着什么，星火的洗牌输出被写入磁盘。见第8章，调优和调试火花，第148至149页：
如果现有的RDD已经在集群内存或磁盘上持久化，火花的内部调度程序可能会截断RDD图的沿袭。这种截断可能发生的第二种情况是，RDD已经成为早期洗牌的副作用，即使它没有显式地持久化。这是一种底层优化，它利用了这样一个事实，即Spark输出被写入磁盘，并且利用了这样一个事实: <
浏览 2提问于2016-12-03得票数 6
回答已采纳
我想在另一个RDD (RDD2)完全在内存中时取消另一个RDD (RDD1)的持久性。我有以下代码： RDD1.unper
浏览 5提问于2015-12-06得票数 0
1回答
我想知道缓存的RDD的范围是什么。例如：rdd.cacheotherClass.calculate(rdd) // This method performs various actions.
// Pass the RDD to a method
浏览 0提问于2015-10-02得票数 1
回答已采纳
我的Spark streaming应用程序为每个微批处理调用了一些RDD.persist()，而RDD.unpersist()从未被调用过(到目前为止，我们依靠缓存空间的LRU功能来解除持久化)。我想我会在Spark UI的"Storage“选项卡中看到持久化RDD的列表增长了很多。
然而，在Spark UI的"Storage“选项卡中，我只看到了一个非常有限<
浏览 0提问于2019-07-05得票数 0
2回答
Spark:来自异构数据的编写包
、、、、
我有一个包含异构StructType的数据集，可以按类型分组并对其应用JSON。例如，RDD[(Type, JSON)]和Set[Type]，包含原始RDD中的所有类型。现在，我想将这些JSON写入到一个类型化的Parquet文件中，并按类型进行分区。val getSchema: Type => StructType = ???types.foreach { jsonType =>
val sparkSchema: S
浏览 14提问于2021-09-28得票数 2
2回答
火花清理洗牌洒到磁盘上
、、、
在循环运行一次之后，它计算一个最终的RDD，它被缓存和校验，并用作下一个循环的初始RDD。我注意到在我的工人机器上，我的工作目录，其中的洗牌文件是商店没有被清理。因此，我最终耗尽了磁盘空间。我的印象是，如果我检查我的RDD
浏览 6提问于2016-01-14得票数 4
回答已采纳
1回答
我已经写了一个程序，在其中我将RDD持久化到spark stream中，这样一旦新的RDD来自spark stream，我就可以将以前缓存的RDD与新的RDD连接起来。有没有办法为这个持久化的RDDs设置生存时间，这样我就可以确保我不会加入我在上一个流周期中已经得到的RDDs。另外，如果有人能解释并指出RDDs中的</e
浏览 1提问于2015-07-15得票数 1
我运行了一个星星之火应用程序，它使用一个StorageLevel.OFF_HEAP来持久化一个rdd(我的转子和星火都处于本地模式)。StorageLevel.OFF_HEAP)counts.collect.foreach(println)sc.stop
当持久化完成后，我可以从localhost:19999(tachyon的web )中看到我的O
浏览 2提问于2015-03-14得票数 2
回答已采纳
3回答
我在试着了解星火的缓存是如何工作的。在上面，rdd1将只从磁盘(例如HDFS)加载一次。(当保存rdd2时，我假设)，然后从缓存(假设有足够的内存)保存rdd3 )基本上是重复的，不是吗？因为一旦计算了rdd2和rdd3，我就不再需要rdd
浏览 2提问于2015-04-27得票数 47
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
