第3章 Spark性能优化

3.2、诊断内存的消耗

image.png

image.png

3.3、高性能序列化类库

image.png

image.png

image.png

image.png

image.png

3.4、优化数据结构

image.png

image.png

• map等集合除了有对象头还有entry指针额外的信息

尽量使用string

优化数据结构

3.5、对多次使用的RDD进行持久化或Checkpoint

image.png

image.png

3.6、使用序列化的持久化级别

image.png

3.7、Java虚拟机垃圾回收调优

image.png

image.png

image.png

image.png

3.8、提高并行度

image.png

image.png

3.9、广播共享数据

image.png

3.10、数据本地化

image.png

image.png