0回答
我有一个被多次调用的方法。此方法如下所示： val newRDD = myRDD.map(.....我想取消持久化newRDD，因为该方法被多次调用，并且我不想要4个不同缓存的newRDDs副本。separateGoodAndBad(secondRDDTransformed)
val thirdRDDTransformed = doStuffT
浏览 3提问于2017-12-02得票数 0
回答已采纳
如何取消持久化在没有引用的MLlib模型中生成的RDD？我知道在pyspark中，你可以用sqlContext.clearCache()解压所有的数据帧，除了scala API中的RDDs之外，还有类似的东西吗？此外，有没有一种方法可以只取消一些RDDs的持久化，而不必取消所有RDDs的持久化
浏览 2提问于2017-02-07得票数 6
回答已采纳
当我们想不止一次使用RDD时，我们可以将它持久化到内存和/或磁盘中。但是，我们以后是否必须自己取消它，或者当不再需要RDD时，火花是否会进行某种类型的垃圾收集和不持久化？我注意到，如果我自己调用非持久化函数，性能就会变慢。
浏览 2提问于2015-09-17得票数 32
回答已采纳
我正在实现一个星星之火应用程序，下面是一个示例片段(不是完全相同的代码)：val rdd2 = rdd1.map(func)println(rdd2.count)
在检查中这段代码的性能时，我看到了count操作的一个条目，但没有看到persist的条目。此计数操作的</
浏览 3提问于2017-05-16得票数 15
回答已采纳
1回答
我正在使用一个spark程序，它需要在循环中不断更新一些RDD：for (iter <- 0 until config.numWalks) { clickNode.path.mkStringtotalRandomPath = totalRandomPath.union(randomPath)
浏览 0提问于2019-02-24得票数 0
1回答
如果你在dataset2上做一个转换，那么你必须持久化它，并将它传递给dataset3，然后取消持久化前一个？谢谢
浏览 0提问于2015-11-23得票数 3
在一个方法中，我创建了一个新的RDD，并对它进行缓存，在RDD超出作用域之后，Spark是否会自动取消rdd的持久化？
我是这么想的，但到底发生了什么？
浏览 0提问于2015-04-23得票数 3
回答已采纳
2回答
如果我从HDFS中在我的RDD外壳中创建了10个pySpark，这是否意味着所有这10个RDD的数据都将驻留在Spark内存中？
如果我不删除RDD，它会永远存在于记忆中吗？如果我的数据集(文件)大小超过可用RAM大小，数据将存储在哪里？
浏览 5提问于2016-11-22得票数 21
回答已采纳
我缓存了一个非常大的RDD (它仍然可以放在内存中)，但是因为它太大了，所以我想尽快取消它。(RDD.scala:216)
val transformation2 = secondTransformation(transformation1).cache
transformation1.
浏览 0提问于2017-11-22得票数 5
在进行即席数据分析时，我遇到了一个非常简单但令人沮丧的模式：
您将rdd1缓存在内存中，然后将rdd2缓存在内存中，由于内存限制，这会将rdd1逐出到磁盘。如果你要取消持久化rdd2，有没有什么办法让spark把rdd1移回内存呢？
浏览 0提问于2020-04-10得票数 0
1回答
我正在阅读，我不明白这意味着什么，星火的洗牌输出被写入磁盘。见第8章，调优和调试火花，第148至149页：
如果现有的RDD已经在集群内存或磁盘上持久化，火花的内部调度程序可能会截断RDD图的沿袭。这种截断可能发生的第二种情况是，RDD已经成为早期洗牌的副作用，即使它没有显式地持久化。这是一种底层优化，它利用了这样一个事实，即Spark输出被写入磁盘，并且利用了这样一个事实: <
浏览 2提问于2016-12-03得票数 6
回答已采纳
我想在另一个RDD (RDD2)完全在内存中时取消另一个RDD (RDD1)的持久性。我有以下代码： RDD1.unper
浏览 5提问于2015-12-06得票数 0
1回答
我想知道缓存的RDD的范围是什么。例如：rdd.cacheotherClass.calculate(rdd) // This method performs various actions.
// Pass the RDD to a method
浏览 0提问于2015-10-02得票数 1
回答已采纳
我的Spark streaming应用程序为每个微批处理调用了一些RDD.persist()，而RDD.unpersist()从未被调用过(到目前为止，我们依靠缓存空间的LRU功能来解除持久化)。我想我会在Spark UI的"Storage“选项卡中看到持久化RDD的列表增长了很多。
然而，在Spark UI的"Storage“选项卡中，我只看到了一个非常有限<
浏览 0提问于2019-07-05得票数 0
2回答
Spark:来自异构数据的编写包
、、、、
我有一个包含异构StructType的数据集，可以按类型分组并对其应用JSON。例如，RDD[(Type, JSON)]和Set[Type]，包含原始RDD中的所有类型。现在，我想将这些JSON写入到一个类型化的Parquet文件中，并按类型进行分区。val getSchema: Type => StructType = ???types.foreach { jsonType =>
val sparkSchema: S
浏览 14提问于2021-09-28得票数 2
2回答
火花清理洗牌洒到磁盘上
、、、
在循环运行一次之后，它计算一个最终的RDD，它被缓存和校验，并用作下一个循环的初始RDD。我注意到在我的工人机器上，我的工作目录，其中的洗牌文件是商店没有被清理。因此，我最终耗尽了磁盘空间。我的印象是，如果我检查我的RDD
浏览 6提问于2016-01-14得票数 4
回答已采纳
1回答
我已经写了一个程序，在其中我将RDD持久化到spark stream中，这样一旦新的RDD来自spark stream，我就可以将以前缓存的RDD与新的RDD连接起来。有没有办法为这个持久化的RDDs设置生存时间，这样我就可以确保我不会加入我在上一个流周期中已经得到的RDDs。另外，如果有人能解释并指出RDDs中的</e
浏览 1提问于2015-07-15得票数 1
我运行了一个星星之火应用程序，它使用一个StorageLevel.OFF_HEAP来持久化一个rdd(我的转子和星火都处于本地模式)。StorageLevel.OFF_HEAP)counts.collect.foreach(println)sc.stop
当持久化完成后，我可以从localhost:19999(tachyon的web )中看到我的O
浏览 2提问于2015-03-14得票数 2
回答已采纳
3回答
我在试着了解星火的缓存是如何工作的。在上面，rdd1将只从磁盘(例如HDFS)加载一次。(当保存rdd2时，我假设)，然后从缓存(假设有足够的内存)保存rdd3 )基本上是重复的，不是吗？因为一旦计算了rdd2和rdd3，我就不再需要rdd
浏览 2提问于2015-04-27得票数 47
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
