所需的执行器内存超过此群集的最大阈值

文章/答案/技术大牛

发布

1回答

apache-spark、hadoop

我在一个8节点的集群上运行Spark，使用yarn作为资源管理器。我每个节点有64 get内存，我将executor内存设置为25 get，但得到错误：Required executor memory (25600MB) is above the max threshold

浏览 22提问于2019-06-20得票数 2

3回答

火花壳每次启动时使用1GB的执行器内存。

shell、apache-spark、cloudera

我每次都会收到以下错误消息：我做了以下步骤来解决问题，但没有任何结果。将yarn.调度器.最大值-分配-mb设置为8GB 奇怪的是，火花壳在重新启动服务后工作了一段时间。在此之后，试一下火花壳没有加载正确的执行器内存</em

浏览 0提问于2016-02-25得票数 2

回答已采纳

2回答

我创建了一个火花集群(学习不创建高内存-cpu集群)，其中包含1个主节点和2个Core来使用下面的config运行执行器。Running2c4.大型(2芯，3.5GB) Hive 2.1.1，Pig 0.16.0，Hue 3.11.0，Spark 2.1.0，Sqoop 1.4.6，HBase 1.3.0 当运行吡火花低于错误时，所需的执行器内存(1024+384 MB)超过该集群的最大阈值(896 MB)！请检查‘

浏览 8提问于2017-04-23得票数 1

回答已采纳

1回答

Yarn Amazon EMR中的内存分配

amazon-web-services、pyspark、amazon-emr

我有这个错误的电火花(亚马逊EMR)，我的文件是大约2G。我怎样才能改变分配？在试图增加集群的规模时，在某些阶段，我仍然存在问题。：调用Py4JJavaError时出错：java.lang.IllegalArgumentException:必需的执行器内存(8192)、开销(1536 MB)和PySpark内存(0 MB)超过了这个集群的最大阈值请检查‘yarn.调度器.最大</em

浏览 0提问于2019-07-25得票数 1

1回答

更新yarn.scheduler存储器

pyspark、hadoop-yarn、cloudera-manager

在这里，我在aws ec2的单个节点上安装了Cloudera。总菜鸟，在这里任何帮助或指导都是非常感谢的

浏览 2提问于2017-09-20得票数 1

2回答

原因:因超过记忆限度而被纱线杀死的容器。24.1 GB 24 GB物理内存

pyspark、amazon-emr

一个主实例(m5.2xlarge)五个从实例(m5.2xlar-8 vCore，32 GiB内存，EBS仅存储EBS存储:200 GiB)。请提供一个更好的参数，没有执行器，执行器内存和没有核心。

浏览 0提问于2019-06-24得票数 0

回答已采纳

1回答

因超过记忆限度而被纱线杀死的容器。6.0GB的6GB物理内存，用于通过dataproc集群运行电火花作业

google-cloud-platform、pyspark、cluster-computing、jobs、google-cloud-dataproc

造成以下错误的原因似乎是容器由于超出内存限制而被纱线杀死。使用6.0GB的6GB物理内存。

浏览 7提问于2020-06-03得票数 3

2回答

Spark是如何占据内存的

apache-spark

如果我的服务器有50 If内存，那么Hbase使用的是40 If。当我运行Spark时，我将内存设置为--executor-memory 30G。那么Spark是否会从Hbase那里获取一些内存，因为只剩下10 grab了。另一个问题是，如果Spark只需要1 1GB内存，但我给了Spark 10G内存，Spark会占用10 1GB内存吗？

浏览 3提问于2016-02-19得票数 1

1回答

星火如何利用每台机器中的多核并行性？

apache-spark、spark-dataframe

当然，通过数据并行来开发多线程需要更大的内存，但我不知道我的Spark程序中的哪个功能是由多线程并行化的。所以我不知道哪个部门负责OOM。我控制RDD分区的数量(并行度)，通过考虑机器的总数和每个工作者的内存量(每台机器)，以便数据的每个RDD分区都能容纳在内存中。在对RDD进行分区之后，机器中的工作人员调用每个RDD分区上的用户定义函数来处理它。这里我有一个问

浏览 2提问于2017-01-23得票数 0

回答已采纳

1回答

Alicloud节点内存请求/限制/使用

kubernetes、memory、alibaba-cloud

我们在Alicloud上有一个包含3个节点的测试群集然而，当查看alicloud控制台中的节点时，我们看到了为内存设置的Requested/Limited当Used超过Limited阈值时，pods将耗尽内存

浏览 6提问于2021-01-22得票数 0

1回答

火花中对执行者和任务的内存分配

apache-spark、memory、memory-management、heap-memory

火花壳.主纱.执行器.存储器9856 M-num-执行器175 .执行器-芯1 在这种情况下，纱线调度程序的执行器

浏览 1提问于2017-09-15得票数 4

2回答

资源托管子系统被终止，导致可用性组失败

sql-server、availability-groups、clustering

群集事件发生以下错误，可用性组失败，导致数据库处于非同步状态。请帮助我找出根本原因(服务器上的一个组件没有及

浏览 0提问于2020-11-06得票数 0

回答已采纳

1回答

对于512 GB RAM / 64核的Server需要特别的注意事项吗？

sql-server、sql-server-2008-r2、memory、best-practices

除了一些Windows修补程序之外，在具有512 GB内存和64个逻辑核的服务器上运行SQL时，还有什么特殊的考虑(即“需要担心的事情”)吗？Server 2008 R2 SP3 (群集)

浏览 0提问于2018-03-09得票数 1

回答已采纳

2回答

如何禁用jenkins代理上的ping线程

jenkins

詹金斯的一个奴隶经常倒下。找到了解决此问题的RCA。是因为平线Terminating the channel channel. at hudson.remoting.PingThread.run(PingThread.java:90) 我想禁用代理上的ping在文档中，它

浏览 0提问于2019-12-18得票数 0

回答已采纳

1回答

Apache火花的最优内存分配

apache-spark

我在32核心系统上使用Apache，内存为244 on。我正在运行一个基于树的算法，在算法中，我需要分别生长500棵树。当我有一个可以并行化为500个进程的过程时，在这个上下文中，我的最佳火花设置是什么？我是个新手，spark.driver.memory、spark.executor.memory和spark.driver.maxResultSize的含义对我来说还不太清楚。但从文档来看，这些变量是优化分配的关键。

浏览 2提问于2017-07-16得票数 1

1回答

在火花中，spark.executor.pyspark.memory配置选项的含义是什么？

apache-spark、pyspark

文件说明如下：除非另有规定，否则在每个执行器中分配给PySpark的内存量，在MiB中分配。如果设置了，执行器的PySpark内存将被限制在此数量之内。如果没有设置，Spark将不会限制Python的内存使用，这取决于应用程序避免超过与其他非JVM进程共享的开销内存空间。当PySpark在YARN或Kubernetes中运行时，此内存将添加到执行器</

浏览 5提问于2021-07-04得票数 6

回答已采纳

2回答

Java内存使用沙箱

java、memory-management、sandbox

我正试图为不受信任的java代码编写一个沙箱。顺便说一下，当我在这里说内存时，它的

浏览 3提问于2012-12-14得票数 1

1回答

AKS中水平吊舱自动分频器的最大数目

azure、kubernetes、azure-aks、hpa

在AKS中水平吊舱自动分频器的最大数量是多少。我们能有一个包含100个HPA的AKS集群吗？

浏览 10提问于2022-11-14得票数 0

回答已采纳

1回答

有没有办法知道是什么导致了码头群的内存泄漏？

docker、docker-swarm、monit、docker-daemon

我们正在运行一个停靠群，并使用查看资源的使用情况。dockerd的进程内存随着时间的推移而不断增长。这发生在所有至少执行码头操作(例如docker inspect或docker exec )的节点上。

浏览 8提问于2022-11-28得票数 0

1回答

在Karaf上设置大于4096 on的堆内存

java、jvm、apache-karaf、karaf

我使用的是一个需要大量内存的java应用程序，我希望能够将JVM的最大可用内存设置为4096 of以上，例如8192 of。我尝试使用以下参数：在4096 so的阈值下，它似乎工作得很好，但不高于这个阈值(它停留在3.7GB左右)。我正在使用64b JVM。阻止我超过4096 me的代码在哪里？

浏览 6提问于2016-02-12得票数 3

回答已采纳

点击加载更多