导读：本文是续接上一篇《Apache Spark内存管理详解(上)》（未阅读的同学可以点击查看）的内容，主要介绍两部分：存储内存管理，包含RDD的持久化机制、RDD缓存的过程、淘汰和落盘；执行内存管理，...存储内存管理 ---- RDD的持久化机制 弹性分布式数据集（RDD）作为Spark最根本的数据抽象，是只读的分区记录（Partition）的集合，只能基于在稳定物理存储中的数据集上创建，或者在其他已有的...事实上，cache方法是使用默认的MEMORY_ONLY的存储级别将RDD持久化到内存，故缓存是一种特殊的持久化。...RDD的持久化由Spark的Storage模块负责，实现了RDD与物理存储的解耦合。...存储形式：Block缓存到存储内存后，是否为非序列化的形式。如MEMORY_ONLY是非序列化方式存储，OFF_HEAP是序列化方式存储。 副本数量：大于1时需要远程冗余备份到其他节点。
Spark对堆内存的管理是一种逻辑上的规划式的管理，因为对象实例占用内存的申请和释放都是由JVM完成的，Spark只能在申请和释放前记录这些内存。...申请内存： Spark在代码中new一个对象实例 JVM从堆内内存分配空间，创建对象并返回对象引用 Spark保存该对象的引用，记录该对象占用的内存 释放内存： Spark记录该对象释放的内存，删除该对象的引用...事实上，cache 方法是使用默认的 MEMORY_ONLY 的存储级别将 RDD 持久化到内存，故缓存是一种特殊的持久化。...堆内和堆外存储内存的设计，便可以对缓存 RDD 时使用的内存做统一的规划和管理。 RDD的持久化由Spark的Storage模块负责，实现了RDD与物理存储的解耦。...OFF_HEAP则是只在堆外内存存储，目前选择堆外内存时不能同时存储到其他位置。 存储形式：Block缓存到存储内存后，是否为非序列化的形式。
Spark对堆内内存的管理是一种逻辑上的“规划式”的管理，因为对象实例占用内存的申请和释放都由JVM完成，Spark只能在申请后和释放前记录这些内存，我们来看其具体流程： 申请内存： Spark在代码中...new一个对象实例 JVM从堆内内存分配空间，创建对象并返回对象引用 Spark保存该对象的引用，记录该对象占用的内存 释放内存： Spark记录该对象释放的内存，删除该对象的引用 等待JVM的垃圾回收机制释放该对象占用的堆内内存...事实上，cache方法是使用默认的MEMORY_ONLY的存储级别将RDD持久化到内存，故缓存是一种特殊的持久化。...RDD的持久化由Spark的Storage模块负责，实现了RDD与物理存储的解耦合。...存储形式：Block缓存到存储内存后，是否为非序列化的形式。如MEMORY_ONLY是非序列化方式存储，OFF_HEAP是序列化方式存储。 副本数量：大于1时需要远程冗余备份到其他节点。
Spark 对堆内内存的管理是一种逻辑上的”规划式”的管理，因为对象实例占用内存的申请和释放都由 JVM 完成，Spark 只能在申请后和释放前记录这些内存，我们来看其具体流程： (1) 申请内存： Spark...存储内存管理 3.1 RDD 的持久化机制 弹性分布式数据集（RDD）作为 Spark 最根本的数据抽象，是只读的分区记录（Partition）的集合，只能基于在稳定物理存储中的数据集上创建，或者在其他已有的...事实上，cache 方法是使用默认的 MEMORY_ONLY 的存储级别将 RDD 持久化到内存，故缓存是一种特殊的持久化。...RDD 的持久化由 Spark 的 Storage 模块 [7] 负责，实现了 RDD 与物理存储的解耦合。...存储形式：Block 缓存到存储内存后，是否为非序列化的形式。如 MEMORY_ONLY 是非序列化方式存储，OFF_HEAP 是序列化方式存储。 副本数量：大于 1 时需要远程冗余备份到其他节点。
Spark 对堆内内存的管理是一种逻辑上的"规划式"的管理，因为对象实例占用内存的申请和释放都由 JVM 完成，Spark 只能在申请后和释放前记录这些内存，我们来看其具体流程： 申请内存： Spark...四、存储内存管理 4.1 RDD 的持久化机制 弹性分布式数据集（RDD）作为 Spark 最根本的数据抽象，是只读的分区记录（Partition）的集合，只能基于在稳定物理存储中的数据集上创建，或者在其他已有的...事实上，cache 方法是使用默认的 MEMORY_ONLY 的存储级别将 RDD 持久化到内存，故缓存是一种特殊的持久化。...RDD 的持久化由 Spark 的 Storage 模块 [7] 负责，实现了 RDD 与物理存储的解耦合。...存储形式：Block 缓存到存储内存后，是否为非序列化的形式。如 MEMORY_ONLY 是非序列化方式存储，OFF_HEAP 是序列化方式存储。 副本数量：大于 1 时需要远程冗余备份到其他节点。
Spark 对堆内内存的管理是一种逻辑上的"规划式"的管理，因为对象实例占用内存的申请和释放都由 JVM 完成，Spark 只能在申请后和释放前记录这些内存，我们来看其具体流程： 申请内存： Spark...存储内存管理 4.1 RDD 的持久化机制 弹性分布式数据集（RDD）作为 Spark 最根本的数据抽象，是只读的分区记录（Partition）的集合，只能基于在稳定物理存储中的数据集上创建，或者在其他已有的...事实上，cache 方法是使用默认的 MEMORY_ONLY 的存储级别将 RDD 持久化到内存，故缓存是一种特殊的持久化。...RDD 的持久化由 Spark 的 Storage 模块负责，实现了 RDD 与物理存储的解耦合。...存储形式：Block 缓存到存储内存后，是否为非序列化的形式。如 MEMORY_ONLY 是非序列化方式存储，OFF_HEAP 是序列化方式存储。 副本数量：大于 1 时需要远程冗余备份到其他节点。
，会LRU释放一部 分，仍有重构的可能 五、Spark系统架构 1.Excutor的内存分为三块： 1)task执行代码所需的内存，占总内存的20%； 2)task通过shuffle过程拉取上一个stage...的task的输出后，进行聚合操作时使用，占20% 3)让RDD持久化时使用，默认占executor总内存的60% 2.Excutor的cpu core： 每个core同一时间只能执行一个线程 六、Spark...block对应一个task，Spark默认值偏少，这样导致不能充分利用资源 建议：若有较多的持久化操作，可以设置高些，超出内存的会频繁gc导致运行缓慢 建议：若持久化操作较少，但shuffle较多时，可以降低持久化内存占比...，提高shuffle操作内存占比 spark-submit： 2.六个原则 •避免创建重复的RDD •尽可能复用同一个RDD •对多次使用的RDD进行持久化处理 •避免使用shuffle类算子 如：groupByKey...，来优化序列化和反序列化性能， Spark支持使用Kryo序列化库，性能比Java序列化库高10倍左右 七、Spark技术栈 • Spark Core：基于RDD提供操作接口，利用DAG进行统一的任务规划
用缓存和持久化来加速 Spark 我们知道Spark 可以通过 RDD 实现计算链的原理 ：转换函数包含在 RDD 链中，但仅在调用 action 函数后才会触发实际的求值过程，执行分布式运算，返回运算结果...看来我们需要另一种方式来充分利用集群可用内存来保存 RDD 的运算结果。 这就是 Spark 缓存（缓存也是 Spark 支持的一种持久化类型）。...持久化等级 如上所述，缓存是其中一种持久化类型。下表列出了 Spark 支持的所有持久 化等级。 ? 每个持久化等级都定义在单例对象 StorageLevel 中。...在循环体的最后部分，反持久化，即释放缓存。 提示 ：用 Pregel API 的好处是，它已经在内部做了缓存和释放缓存的 操作。 5. 何时不用缓存 不能盲目地在内存中缓存 RDD。...Spark 用序列化的方式，可以在网络间传输对象，也可以把序列化后的字 节流缓存在内存中。
API 缓存/持久化函数 可以将RDD数据直接缓存到内存中，函数声明如下： 但是实际项目中，不会直接使用上述的缓存函数，RDD数据量往往很多，内存放不下的。...在实际的项目中缓存RDD数据时，往往使用如下函数，依据具体的业务和数据量，指定缓存的级别 缓存/持久化级别 在Spark框架中对数据缓存可以指定不同的级别，对于开发来说至关重要，如下所示： 持久化级别...释放缓存/持久化 当缓存的RDD数据，不再被使用时，考虑释资源，使用如下函数： 此函数属于eager，立即执行。...启动集群和spark-shell /export/servers/spark/sbin/start-all.sh // 将一个RDD持久化，后续操作该RDD就可以直接从缓存中拿 val rdd1...//触发action,会去读缓存中的数据,执行速度会比之前快,因为rdd2已经持久化到内存中了 总结：何时使用缓存/持久化 在实际项目开发中，什么时候缓存RDD数据，最好呢？？？
内存管理 这部分我们引用之前发过的文章: Spark性能优化总结 三万字长文 | Spark性能优化实战手册 Storage存储内存管理 RDD持久化机制 弹性分布式数据集（RDD）作为 Spark 最根本的数据抽象...所以如果一个 RDD 上要执行多次行动，可以在第一次行动中使用 persist 或 cache 方法，在内存或磁盘中持久化或缓存这个 RDD，从而在后面的行动时提升计算速度。...事实上，cache 方法是使用默认的 MEMORY_ONLY 的存储级别将 RDD 持久化到内存，故缓存是一种特殊的持久化。...RDD 的持久化由Spark的Storage模块负责，实现了RDD与物理存储的解耦合。...存储形式: Block 缓存到存储内存后，是否为非序列化的形式。如 MEMORY_ONLY 是非序列化方式存储，OFF_HEAP 是序列化方式存储。
rdd的持久化是便于rdd计算的重复使用。 在rdd参与第一次计算后，设置rdd的存储级别可以保持rdd计算后的值在内存中。...rdd的持久化操作有cache()和presist()函数这两种方式。 ---- Spark最重要的一个功能，就是在不同操作间，持久化（或缓存）一个数据集在内存中。...缓存是用Spark构建迭代算法的关键。你可以用persist()或cache()方法来标记一个要被持久化的RDD，然后一旦首次被一个动作（Action）触发计算，它将会被保留在计算结点的内存中并重用。...此外，每一个RDD都可以用不同的保存级别进行保存，从而允许你持久化数据集在硬盘，或者在内存作为序列化的Java对象（节省空间），甚至于跨结点复制。...MEMORY_AND_DISK存储级别时当内存足够时直接保存到内存队列中，当内存不足时，将释放掉不属于同一个RDD的block的内存。
另外，这里需要提及一下一个知识点，那就是持久化的级别，一般cache的话就是放入内存中，就没有什么好说的，需要讲一下的就是另外一个 persist()，它的持久化级别是可以被我们所配置的： 持久化级别...如果内存不够存放所有的数据，则数据可能就不会进行持久化。使用cache()方法时，实际就是使用的这种持久化策略，性能也是最高的。...唯一的区别是，会将RDD中的数据进行序列化，RDD的每个partition会被序列化成一个字节数组。这种方式更加节省内存，从而可以避免持久化的数据占用过多内存导致频繁GC。...唯一的区别是会先序列化，节约内存。 DISK_ONLY 使用未序列化的Java对象格式，将数据全部写入磁盘文件中。一般不推荐使用。...当变量被广播后，会保证每个executor的内存中只会保留一份副本，同个executor内的task都可以共享这个副本数据。
之所以要持久化，一方面是要减少内存存储空间压力，另一方面也是为了 fault-tolerance。...16、Spark 为什么要持久化，一般什么场景下要进行 persist 操作？ 为什么要进行持久化？ ...要持久化 persist。...用于设置 RDD 持久化数据在 Executor 内存中能占的比例，默认是 0.6,，默认 Executor 60%的内存，可以用来保存持久化的 RDD 数据。...根据你选择的不同的持久化策略，如果内存不够时，可能数据就不会持久化，或者数据会写入磁盘； 如果持久化操作比较多，可以提高 spark.storage.memoryFraction 参数，使得更多的持久化数据保存在内存中
SparkCore加强 重点：RDD的持久化和Checkpoint 提高拓展知识：Spark内核调度全流程，Spark的Shuffle 练习：热力图统计及电商基础指标统计 combineByKey作为面试部分重点...x.rightOuterJoin(y).collect()) # [(1001, ('zhangsan', 'sales')), (1002, ('lisi', 'tech'))] sc.stop() [掌握]RDD 持久化...2-内存放不下，尝试序列化 3-如果算子比较昂贵可以缓存在磁盘中，否则不要直接放入磁盘 4-使用副本机制完成容错性质 释放缓存 后续讲到Spark内存模型中，缓存放在Execution内存模块 如果不在需要缓存的数据...1-首先会查看Spark是否对数据缓存，cache或perisist，直接从缓存中提取数据 2-否则查看checkpoint是否保存数据 3-否则根据依赖关系重建RDD 检查点机制案例 持久化和...Checkpoint的区别 存储位置：缓存放在内存或本地磁盘，检查点机制在hdfs 生命周期：缓存通过LRU或unpersist释放，检查点机制会根据文件一直存在 依赖关系：缓存保存依赖关系，检查点斩断依赖关系链
2.4 原则三：对多次使用的RDD进行持久化 当你在Spark代码中多次对一个RDD做了算子操作后，恭喜，你已经实现Spark作业第一步的优化了，也就是尽可能复用RDD。...因此对于这种情况，我们的建议是：对多次使用的RDD进行持久化。此时Spark就会根据你的持久化策略，将RDD中的数据保存到内存或者磁盘中。...Spark的持久化级别 持久化级别 含义解释 MEMORY_ONLY 使用未序列化的Java对象格式，将数据保存在内存中。如果内存不够存放所有的数据，则数据可能就不会进行持久化。...MEMORY_AND_DISK 使用未序列化的Java对象格式，优先尝试将数据保存在内存中。...序列化后的数据比较少，可以节省内存和磁盘的空间开销。同时该策略会优先尽量尝试将数据缓存在内存中，内存缓存不下才会写入磁盘。
个人主页：大数据小禅 面试题目录 1.Spark 的 shuffle过程？ 2.Spark 的数据本地性有哪几种？ 3.Spark 为什么要持久化，一般什么场景下要进行 persist 操作？...3.Spark 为什么要持久化，一般什么场景下要进行 persist 操作？ 为什么要进行持久化？...3）Application 部署简化，例如 Spark，Storm 等多种框架的应用由客户端提交后，由 Yarn 负责资源的管理和调度，利用 Container 作为资源隔离的单位，以它为单位去使用内存...1）用于设置 RDD 持久化数据在 Executor 内存中能占的比例，默认是 0.6,，默认 Executor 60%的内存，可以用来保存持久化的 RDD 数据。...根据你选择的不同的持久化策略，如果内存不够时，可能数据就不会持久化，或者数据会写入磁盘； 2）如果持久化操作比较多，可以提高 spark.storage.memoryFraction 参数，使得更多的持久化数据保存在内存中
6原则三：对多次使用的RDD进行持久化 当你在Spark代码中多次对一个RDD做了算子操作后，恭喜，你已经实现Spark作业第一步的优化了，也就是尽可能复用RDD。...因此对于这种情况，我们的建议是：对多次使用的RDD进行持久化。此时Spark就会根据你的持久化策略，将RDD中的数据保存到内存或者磁盘中。...Spark的持久化级别 持久化级别 含义解释 MEMORY_ONLY 使用未序列化的Java对象格式，将数据保存在内存中。如果内存不够存放所有的数据，则数据可能就不会进行持久化。...MEMORY_AND_DISK 使用未序列化的Java对象格式，优先尝试将数据保存在内存中。...序列化后的数据比较少，可以节省内存和磁盘的空间开销。同时该策略会优先尽量尝试将数据缓存在内存中，内存缓存不下才会写入磁盘。
原则三：对多次使用的RDD进行持久化 当你在Spark代码中多次对一个RDD做了算子操作后，恭喜，你已经实现Spark作业第一步的优化了，也就是尽可能复用RDD。...Spark的持久化级别 持久化级别 含义解释 MEMORY_ONLY 使用未序列化的Java对象格式，将数据保存在内存中。如果内存不够存放所有的数据，则数据可能就不会进行持久化。...MEMORY_AND_DISK 使用未序列化的Java对象格式，优先尝试将数据保存在内存中。...该级别会将RDD数据序列化后再保存在内存中，此时每个partition仅仅是一个字节数组而已，大大减少了对象数量，并降低了内存占用。...序列化后的数据比较少，可以节省内存和磁盘的空间开销。同时该策略会优先尽量尝试将数据缓存在内存中，内存缓存不下才会写入磁盘。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
