问Apache :设置executor实例不会更改执行程序

EN

提高yarn.nodemanager.resource.memory-mb在yarn-site.xml中的应用

每节点12g，您只能启动驱动程序(3G)和2个执行器(11g)。

Node1 -驱动3g (+7%的开销)

Node2 - executor1 11g (+7%的开销)

Node3 - executor2 11g (+7%的开销)

现在，您正在请求11g的executor3，而且没有一个节点有11g内存可用。

对于7%的开销，请参考spark.yarn.executor.memoryOverhead和spark.yarn.driver.memoryOverhead中的https://spark.apache.org/docs/1.2.0/running-on-yarn.html

注意，yarn.nodemanager.resource.memory-mb是总内存，单个 NodeManager可以在一个节点上跨分配所有容器。

在您的例子中，由于yarn.nodemanager.resource.memory-mb = 12G，如果将分配给任何单个节点上所有纱线容器的内存加起来，它不能超过12G。

您已经为请求了11G ()每个火花执行器容器。虽然11G小于12G，但这仍然行不通。为什么？

• 因为您必须说明spark.yarn.executor.memoryOverhead，它是min(executorMemory * 0.10, 384) (默认情况下，除非您重写它)。

因此，下面的数学必须正确：

spark.executor.memory + spark.yarn.executor.memoryOverhead <= yarn.nodemanager.resource.memory-mb

有关https://spark.apache.org/docs/latest/running-on-yarn.html的最新文档，请参阅：spark.yarn.executor.memoryOverhead

此外，spark.executor.instances只是，只是一个请求。应用程序的Spark ApplicationMaster将向ResourceManager请求容器数量= spark.executor.instances。ResourceManager将在以下基础上在NodeManager节点上批准请求：

• 节点上的资源可用性。纱线调度有它自己的细微差别- 这是一个很好的入门如何纱线FairScheduler工作。
• 节点：yarn.nodemanager.resource.memory-mb上是否超过了阈值
  • (在节点* (spark.executor.memory +spark.yarn.executor.memoryOverhead)上运行的火花容器数目) <= yarn.nodemanager.resource.memory-mb*

​

如果请求未被授予，请求将被排队，并在满足上述条件时被授予。

要充分利用spark集群的容量，您需要按照集群设置--num-executors、--executor-cores和--executor-memory的值：

• --num-executors命令行标志或spark.executor.instances配置属性控制所请求的执行者的数量；
• --executor-cores命令行标志或spark.executor.cores配置属性控制执行器可以运行的并发任务的数量；
• --executor-memory命令行标志或spark.executor.memory配置属性控制堆大小。