问使用Spark配置Java堆大小
EN

Stack Overflow用户

提问于 2016-12-13 02:20:41

回答 1查看 3.7K关注 0票数 2

当我配置Yarn时，有一个用于分配内存的JAVA_HEAP_MAX环境变量。当我实例化一个Spark worker时，spark.executor.memory会覆盖这个值吗？我有什么理由需要通过-Xmx手动设置Java heap，或者Spark conf会处理这个问题吗？

从本质上讲，我需要将初始java堆内存分配设置为大于分配给Spark的内存，还是默认情况下进行管理--以及通过spark之外的环境变量修改JVM的用例是什么？

发布于 2017-02-11 08:16:46

我在提交作业的时候从来没有做过-Xmx。我总是使用spark.executor.memory和driver.memory。我想它会覆盖的。使用https://spark.apache.org/docs/latest/configuration.html#compression-and-serialization进行一些附加配置/调优

喜欢

spark.memory.fraction

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/41107096

复制

相似问题

问使用Spark配置Java堆大小EN