Spring DataFlow Yarn -容器超出了物理内存
Spring DataFlow是一个用于构建和管理数据流应用程序的框架。它提供了一种简化的方式来定义、部署和监控数据流应用程序。Yarn是Apache Hadoop生态系统中的一个资源管理器，它负责在集群中分配和管理资源。当容器超出了物理内存时，可能会导致应用程序的性能下降或崩溃。
为了解决容器超出物理内存的问题，可以采取以下措施：
- 调整容器的内存分配：可以通过调整容器的内存分配来解决容器超出物理内存的问题。可以增加容器的内存限制，以便容器可以更好地适应应用程序的需求。
- 优化应用程序的内存使用：可以通过优化应用程序的内存使用来减少容器超出物理内存的可能性。可以使用内存分析工具来识别和解决内存泄漏或过度使用内存的问题。
- 水平扩展集群：如果容器超出物理内存的问题无法通过调整内存分配或优化应用程序解决，可以考虑水平扩展集群。通过增加集群中的节点数量，可以分散负载并减少每个节点上的内存使用量。
- 使用腾讯云相关产品：腾讯云提供了一系列与云计算和数据处理相关的产品，可以帮助解决容器超出物理内存的问题。例如，可以使用腾讯云的弹性容器实例（Elastic Container Instance）来动态调整容器的资源分配，以适应应用程序的需求。此外，腾讯云还提供了云服务器（Cloud Server）、云数据库（Cloud Database）等产品，可以用于支持和扩展数据流应用程序。
更多关于腾讯云相关产品的信息，请参考腾讯云官方网站：腾讯云。
相关·内容
2回答
我使用Hadoop2.0.5 (Alpha)运行相对较大的作业，并且遇到了以下错误：
容器containerID=container_1378641992707_0002_01_000029的运行超出了虚拟内存的限制。当前使用情况:使用了492.4 MB的1 GB物理内存；使用了3.3GB的2.1 GB虚拟内存。杀人容器。
然后，我了解了这两个参数：
yarn.nodemanager.vmem-pmem-ratio属性，默认设置为2.1。
默认情况下，yarn.app.mapreduce.am.command-opts设置为-Xmx1024mb (=1GB)。
这就解释了上面标明的限制
浏览 2提问于2013-09-09得票数 9
回答已采纳
1回答
我尝试在Yarn的spring数据流上运行简单的Spring批处理任务。不幸的是，在运行它时，我在ResourceManager UI中得到了错误消息：
Application application_1473838120587_5156 failed 1 times due to AM Container for appattempt_1473838120587_5156_000001 exited with exitCode: 1
For more detailed output, check application tracking page:http://ip-10-249-9
浏览 10提问于2016-11-07得票数 0
回答已采纳
我正在尝试部署以下流：
STREAM_2=:messages > filter --expression="#jsonPath(payload, '$.id')==1" | rabbit --queues=id_1 --host=rabbitmq --routing-key=id_1 --exchange=ex_1 --own-connection=true
STREAM_3=:messages > filter --expression="#jsonPath(payload, '$.id')==2" | rabbit
浏览 1提问于2019-03-27得票数 0
回答已采纳
在启用动态分配的情况下，我在纱线上运行一个spark应用程序。Yarn停止运行，我在Node日志中看到java.lang.OutOfMemoryError: GC overhead limit exceeded。
自然，我将Node的内存从1G增加到2G，然后再增加到4G，我仍然看到了同样的问题。
奇怪的是，这个应用程序过去在Cloudera集群中运行良好，现在我们已经切换到Horton，我看到了这些问题。
当查看节点管理器的Grafana图表时，我可以看到已经死亡的节点只使用其堆的60%。
一个问题是火花使用netty & nio simultaneously...because是正
浏览 8提问于2022-02-01得票数 0
2回答
我正在运行一个oozie工作流，其中包含一个运行此脚本的shell操作。
java -classpath my.jar my.package.Main
shell操作配置如下所示
<action name="run-test-script">
<shell xmlns="uri:oozie:shell-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node&g
浏览 5提问于2014-06-16得票数 4
2回答
当我执行rhadoop示例时，会发生以下错误。
正在超越虚拟内存限制。当前使用:使用了121.2 MB的1GB物理内存；2.1GB使用了2.1GB虚拟内存。杀人容器。
集装箱应要求而死亡。出口代码是143
以非零出口代码143退出的容器
hadoop流失败，错误代码1
我怎么才能修好它？
我的hadoop设置。
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
浏览 3提问于2017-04-16得票数 8
回答已采纳
我从spring-cloud-dataflow-server-yarn 1.0.2.RELEASE开始使用SCDF。它是通过Ambari 2.4.2安装的，现在与HDP2.5(Hortonworks Data Platform)一起运行。
现在，SCDF中发生了很多变化，所以我想将spring-cloud-dataflow-server-yarn从1.0.2升级到1.1.1(或者1.2.*如果有发布版本的话)。
首先，我遵循部分并从scdf-release-1.1.1.repo安装了scdf-plugin-hdp。重新启动Ambari后，没有升级选项。所以，我认为这不是正确的方式。
然而，我搜
浏览 2提问于2017-04-28得票数 0
我很难理解Spark是如何在Yarn上进行内存管理的：
我的spark-submit
--executor-memory 48g
--num-executors 2
当我运行top -p <pids_of_2_yarn_containers/executors>时
VIRT RES %MEM
51.059g 0.015t ~4 (container 1)
51.039g 0.012t ~3 (container 2)
系统的总内存为380 g。
最后，在纱线上，当我点击每个容器页面时，我可以看到：
Resource: 54272 Memory (contain
浏览 2提问于2017-09-11得票数 0
回答已采纳
yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb有什么区别？
我在yarn-site.xml中看到了这两种情况，我看到了的解释。
yarn.scheduler.maximum-allocation-mb的定义如下: MBs中每个容器请求在RM中的最大分配。高于此值的内存请求将引发InvalidResourceRequestException。这是否意味着仅在资源分析器上的内存请求受到此值的限制？
yarn.nodemanager.resource.memory-mb定义了可以分配给容器的物理内存量(
浏览 0提问于2017-05-07得票数 41
回答已采纳
1回答
我正在尝试执行示例python任务：
安装本地与码头：
然后继续创建python任务：
(要向SCDF添加应用程序/启动任务，我使用web )，然后在SCDF控制台上获得下面的堆栈跟踪：
非常感谢。
Dataflow-server | java.lang.RuntimeException: Exception trying to launch [AppDeploymentRequest@67fda9c3 commandlineArguments = list['--spring.cloud.task.executionid=10'], deploymentProper
浏览 18提问于2022-09-20得票数 1
我正在尝试将Spring Cloud dataflow Yarn SPI与在Hortonworks sandbox 2.4上运行的Spark集成。有没有人有我们需要做的配置示例？我的Spark程序在我使用spark-submit运行它时执行正常，但在注册Spark应用程序后运行Spring Cloud dataflow时出现问题。可能有一些我需要设置的前提条件，但我不确定它们都是什么。
请帮帮忙。
浏览 0提问于2016-05-27得票数 1
1回答
我正在AWS EMR上运行一个MapReduce作业。除了一个非常大的文件外，映射作业将完成。我得到以下错误：
OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000611280000, 1521483776, 0) failed; error='Cannot allocate memory' (errno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memor
浏览 2提问于2015-11-23得票数 1
1回答
在这里，我在aws ec2的单个节点上安装了Cloudera。我遵循安装向导，但是当我尝试运行时
我收到以下错误消息：
ERROR spark.SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: Required executor memory (1024+384
MB) is above the max threshold (1024 MB) of this cluster! Please check
the values of 'yarn.scheduler
浏览 2提问于2017-09-20得票数 1
您知道如何将Kubernetes集成到现有的Yarn集群中吗？
下面的页面解释了Kubernetes Yarn集成提供的功能。
然而，它引用的教程只给出了安装本地集群的说明。
另一个或第二个问题是：
在Hadoop运行的同一物理集群中运行Kubernetes集群是否明智/合理？
先谢谢你...
浏览 0提问于2017-05-25得票数 4
我用提供的docker-compose.yaml文件启动了Spring Cloud Dataflow服务器，并定义了一个简单的流：http | log 现在我想从我的主机向http源发送一些数据，但是我找不到正确的服务器地址和端口。 我想 curl -X POST -d 'data to be sent' http://localhost:8080 我必须为http://localhost:8080使用什么才能使其正常工作？ 这是我的docker-compose.yaml文件： version: '3'
services:
rabbitmq:
i
浏览 30提问于2019-05-10得票数 0
当我们用火花引擎执行蜂巢查询时，我们得到了错误。
执行spark任务失败，除了创建spark客户端的'org.apache.hadoop.hive.ql.metadata.HiveException(Failed之外。失败:执行错误，从org.apache.hadoop.hive.ql.exec.spark.SparkTask返回代码1
以下属性被设置为使用spark作为执行引擎，而不是mapreduce：
set hive.execution.engine=spark;
set spark.executor.memory=2g;
我也尝试过更改以下属性。
set yarn.
浏览 5提问于2017-10-26得票数 0
回答已采纳
我在Yarn上运行Spring Cloud任务，简单的任务运行得很好，但是运行更大的任务需要更多的资源，我得到了"Container is running but memory“错误：
onContainerCompleted:ContainerStatus: [ContainerId:
container_1485796744143_0030_01_000002, State: COMPLETE, Diagnostics: Container [pid=27456,containerID=container_1485796744143_0030_01_000002] is runn
浏览 20提问于2017-01-31得票数 0
回答已采纳
我正在试着阅读一个大的hbase表的火花(大约100 to的大小)。
火花版本: 1.6
星火提交参数：
spark-submit --master yarn-client --num-executors 10 --executor-memory 4G
--executor-cores 4
--conf spark.yarn.executor.memoryOverhead=2048
错误: ExecutorLostFailure原因:超过限值的容器被纱线杀死。4.5GB的3GB物理内存使用限制。考虑提高spark.yarn.execu
浏览 1提问于2017-06-14得票数 0
2回答
容器运行超出物理内存限制
、、、
我有一个处理1.4 Tb数据的MapReduce作业。在这样做的时候，我得到了如下的错误。
拆分的数量是6444。在开始作业之前，我设置了以下设置：
conf.set("mapreduce.map.memory.mb", "8192");
conf.set("mapreduce.reduce.memory.mb", "8192");
conf.set("mapreduce.map.java.opts.max.heap", "8192");
conf.set("mapreduce.map.ja
浏览 0提问于2018-05-23得票数 2
我在这个网站上发布了基于的Spring云数据流。
我创建了3个应用程序，源代码，处理器和水槽。
我在Spring数据流云仪表板上注册了它们。
然后，我创建了一个流，其中源连接到处理器，连接到接收器。
当我部署应用程序并打开{流名}时，
我得到以下错误，
{
logs: {
testdir-stream.sender1-v3: "Error: Unable to access jarfile /testdir/data-sender-0.0.1-SNAPSHOT.jar ",
testdir-stream.sink1-v3: "Error: Unable to acce
浏览 0提问于2019-09-09得票数 0
回答已采纳
如果纱线容器超出其堆大小设置，则映射或减少任务将失败，其错误类似于下面的错误：
2015-02-06 11:58:15,461 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Container [pid=10305,containerID=container_1423215865404_0002_01_000007] is running beyond physical memory limits.
Current usage: 42.1 GB of
浏览 2提问于2015-02-09得票数 4
回答已采纳
1回答
我已经在一个虚拟纱线集群上部署了spring cloud dataflow。启动服务器./bin/dataflow-server-yarn可以正确执行。并返回
2016-11-02 10:31:59.786 INFO 42493 --- [ main] o.s.i.endpoint.EventDrivenConsumer : Adding {logging-channel-adapter:_org.springframework.integration.errorLogger} as a subscriber to the 'errorChannel&
浏览 0提问于2016-11-02得票数 0
我正在运行spring cloud dataflow server 2.6.0作为docker容器，我想知道容器中服务器日志文件所在的文件夹。 我知道此文件用于配置数据流服务器的日志记录。https://github.com/spring-cloud/spring-cloud-dataflow/blob/master/spring-cloud-dataflow-server/src/main/resources/logback-spring.xml 但是，我在docker容器中的任何地方都找不到实际的文件。 这个日志文件位于容器中的什么位置，如果提供了一些示例，清楚地解释了LOG_PATH、
浏览 21提问于2020-08-21得票数 0
2回答
理解火花容器失效
、、
我有一个运行在AWS上的火花作业。它经常在几个步骤之后失败，并给出如下错误消息：
2016-08-18 23:29:50,167 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl (Container Monitor): Memory usage of ProcessTree 7031 for container-id container_: 48.6 GB of 52 GB physical memory used; 52.6 GB of 260 GB v
浏览 4提问于2016-08-19得票数 2
回答已采纳
1回答
我有一个火花应用程序经常出错：
诊断:容器containerID=container_e42_1512395822750_0026_02_000001的运行超出了物理内存的限制。当前的使用:使用1.5GB的物理内存；使用2.3GB的3.1GB虚拟内存。杀死容器。
我看到很多不同的参数被建议改变以增加物理记忆。请给我一些关于下列参数的解释。
mapreduce.map.memory.mb (当前设置为0，因此假设采用默认值1GB，所以我们将其视为1.5GB，更改它也会影响数字)。
mapreduce.reduce.memory.mb (当前设置为0，因此假设采用默认值1GB，所以
浏览 1提问于2017-12-07得票数 3
回答已采纳
从BigQuery (Dataproc集群)将表写入PySpark时将面临以下错误。造成以下错误的原因似乎是容器由于超出内存限制而被纱线杀死。使用6.0GB的6GB物理内存。考虑提高spark.yarn.executor.memoryOverhead或禁用yarn.nodemarager.vmem-检查启用，因为纱-4714.。我在其中读到了一些答案，但不知道如何在Dataproc集群中进行这些更改？
Py4JJavaError: An error occurred while calling o1138.save.
: java.lang.RuntimeException: Failed t
浏览 7提问于2020-06-03得票数 3
我正在使用h1-highmem-16机器运行数据处理作业，每台机器都有104 GB的内存。
我在谷歌控制台中仔细检查了实例的大小，所有的worker和master都是h1-highmem-16。
然而，我得到了这个错误：
Container killed by YARN for exceeding memory limits. 56.8 GB of 54 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
为什么YARN没有使用全部104 GB的内存？
浏览 21提问于2017-01-19得票数 3
回答已采纳
我的spark应用程序读取3个文件，分别为7 MB、40 MB、100 MB和许多转换，并存储多个目录。
星火版CDH1.5
MASTER_URL=yarn-cluster
NUM_EXECUTORS=15
EXECUTOR_MEMORY=4G
EXECUTOR_CORES=6
DRIVER_MEMORY=3G
我的火花作业运行了一段时间，然后抛出下面的错误消息，并从开始时重新启动。
18/03/27 18:59:44 INFO avro.AvroRelation: using snappy for Avro output
18/03/27 18:59:47 ERROR yarn.Applic
浏览 0提问于2018-03-28得票数 5
回答已采纳
2回答
怎样才能更改默认的appdeployappmaster属性？
当我试图通过Spring DataFlow纱线部署应用程序时。我注册了我的应用程序，创建了一个流，然后点击“部署”按钮。这样做时，我会得到以下错误：
XNIO-2任务-2警告o.s.c.d.s.c.StreamDeploymentController -异常时部署应用程序StreamAppDefinition streamName=histo，name=my- app，registeredAppName=my-app，java.util.concurrent.ExecutionException: org.springframew
浏览 5提问于2016-12-01得票数 0
回答已采纳
1回答
我在Yarn上运行了一个火花流应用程序，它工作了几天，之后我遇到了一个问题，下面是来自纱线列表的错误消息：
Application application_1449727361299_0049 failed 2 times due to AM Container for appattempt_1449727361299_0049_000002 exited with exitCode: -104
For more detailed output, check application tracking page:https://sccsparkdev03:26001/cluster/app/ap
浏览 4提问于2015-12-14得票数 5
2回答
我的YARN集群中的一个节点有64 in内存和24个内核。我在yarn-site.xml中设置了以下属性：
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>32768</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>16</value>
浏览 2提问于2013-11-17得票数 9
回答已采纳
我的环境如下：
Spring XD 1.2.1-版本HDP 2.2.4.2
我在Yarn上运行了Spring XD，并且我注意到，每次向集群提交Spring XD应用程序时，都会根据目录前缀、yarn应用程序id和yarn容器id动态创建容器日志。这往往会使它们有点难以找到，特别是当您想要合并日志时。有没有一种方法可以控制这些日志的存储位置，以便我可以将这些日志整合在一起。使用Spring XD会很棒，但我不确定如何才能告诉Spring XD它们的位置，因为yarn应用程序id和容器id是由HDP在部署时动态生成的。
-Frank
浏览 0提问于2015-11-18得票数 0
3回答
我正在测试spring-纱线集成API，我对Yarn容器定制的最佳实践并不感到困惑，具体如下：
( 1)如果我想使用弹簧引导-纱线组合，那么告诉spring引导获取我的纱线容器实现(而不是DefaultYarnContainer...The )的正确方法是通过包含main方法的容器项目类的ImportResource注释，它指向带有声明的spring应用程序xml：
<yarn:container container class="myhadoop.yarn.container.custom.MyContainerImplementation"/>
组件扫描不工作在
浏览 7提问于2015-08-20得票数 0
回答已采纳
我使用Ambari安装了SCDF，但似乎无法成功启动服务器。我从日志中得到以下输出：
03:07:30.592 [main] ERROR org.springframework.boot.SpringApplication - Application startup failed
java.lang.IllegalStateException: Failed to load property source from location 'file:/etc/scdf/conf//servers.yml'
at org.springframework.boot.contex
浏览 5提问于2017-11-09得票数 0
Apache spark 1.1.0与hadoop 2.4的结合
也是我的cluster is on CDH 5.1.3
我尝试使用下面的命令启动spark with yarn。
./spark-shell --master yarn
./spark-shell --master yarn-client
我有以下例外：
14/10/15 21:33:32 INFO cluster.YarnClientSchedulerBackend: ASM的应用报告: appMasterRpcPort: 0 appStartTime: 1413388999108 yarnAppState: ASM
14
浏览 2提问于2014-10-15得票数 0
回答已采纳
我目前在集群中有高功率(cpu/ram)主机，我们正在考虑增加一些好的存储，但低功耗的主机。
我担心这会令工作表现下降。来自新主机(功能较弱)的映射/还原器将运行得更慢，而功能更强大的主机将不得不等待结果。
有办法在Yarn中配置这个吗？可能是为主机设置优先级，或者根据每台机器上的核数分配映射器/还原器。
谢谢，Horatiu
浏览 3提问于2015-06-15得票数 1
回答已采纳
1回答
我已经在教程slave1的基础上建立了一个集群(1-主和2-从(slave1，slave2))。当我第一次运行时，HDFS和YARN服务都没有问题地运行。但是，当我再次停止运行它们时，我从主服务器运行YARN服务(start-yarn.sh)时得到了以下信息。
# starting yarn daemons
# starting resourcemanager, logging to /local/hadoop/logs/yarn-dev-resourcemanager-login200.out
#
# There is insufficient memory for the Java Ru
浏览 0提问于2016-09-29得票数 0
我从下载了：spark-2.1.0-bin-hadoop2.7.tgz。我的Hadoop HDFS和YARN是从$ start-dfs.sh和$ start-yarn.sh开始的。但是运行$ spark-shell --master yarn --deploy-mode client会给出以下错误：
$ spark-shell --master yarn --deploy-mode client
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel
浏览 0提问于2017-04-07得票数 6
回答已采纳
9回答
在Hadoop v1中，我为每个映射器和减速器分配了大小为1GB的映射器和减速机槽，我的映射器和减速器运行得很好。我的机器有8G内存，8个处理器。现在有了纱线，当在同一台机器上运行相同的应用程序时，我得到了容器错误。默认情况下，我有以下设置：
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
</property>
<property>
<name>ya
浏览 6提问于2014-01-08得票数 92
回答已采纳
我是spring-cloud-data-flow的新手。我正在遵循Spring Cloud Data Flow (https://dataflow.spring.io/docs/installation/local/docker/)的文档。我已经下载了docker-compose.yml文件，并将其放在D:\Dev\spring-cloud-dataflow>目录中。当我尝试运行以下命令时： D:\Dev\spring-cloud-dataflow> set DATAFLOW_VERSION=2.1.0.RELEASE
D:\Dev\spring-cloud-da
浏览 31提问于2019-05-28得票数 2
我使用YARN(Hadoop2.6)作为集群管理器来运行Spark。YARN正在伪分布式模式下运行。我已经用6个executors启动了spark shell，并期望得到相同的结果
spark-shell --master yarn --num-executors 6
但是在Spark Web UI中，我只看到了4个executors
这有什么原因吗？
PS :我在我的Ubuntu(14.04)中运行了nproc命令，结果如下所示。我相信这意味着，我的系统有8个内核
mountain@mountain:~$ nproc
8
浏览 1提问于2015-06-21得票数 0
我正在运行一个Hadoop作业，并且在我的yarn-site.xml文件中，我有以下配置：
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
浏览 1提问于2013-12-27得票数 11
回答已采纳
1回答
我希望我的地图和减少任务并行运行。然而，尽管他们尝试了袋中的每一个技巧，但他们仍在按顺序运行。我从上读到，使用下面的公式，可以设置并行运行的任务数。
min (yarn.nodemanager.resource.memory-mb / mapreduce.[map|reduce].memory.mb,
yarn.nodemanager.resource.cpu-vcores / mapreduce.[map|reduce].cpu.vcores)
但是，我这样做了，正如您从下面使用的mapred-site.xml的纱线-site.xml和中看到的那样。但任务仍按顺序运行。请注意，我使用的是
浏览 3提问于2015-04-30得票数 4
我在一个8节点的集群上运行Spark，使用yarn作为资源管理器。我每个节点有64 get内存，我将executor内存设置为25 get，但得到错误：Required executor memory (25600MB) is above the max threshold (16500 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'. I将yar
浏览 22提问于2019-06-20得票数 2
1回答
我正在尝试向YARN提交一个teragen作业，如下所示：
yarn jar $YARN_EXAMPLES/hadoop-mapreduce-examples-3.3.1.jar teragen 1000 /teragen
一切都很顺利，直到出现错误：
2021-11-04 23:45:20,540 INFO mapreduce.Job: Running job: job_1636069364859_0003
2021-11-04 23:45:25,629 INFO mapreduce.Job: Job job_1636069364859_0003 running in uber mode :
浏览 8提问于2021-11-05得票数 0
1回答
我想在YARN上发布一些火花放电作业。我有两个节点，每个节点10 GB。我能够像这样打开火花放电外壳：pyspark
现在，当我有一个非常简单的例子，我试图启动：
import random
NUM_SAMPLES=1000
def inside(p):
x, y = random.random(), random.random()
return x*x + y*y < 1
count = sc.parallelize(xrange(0, NUM_SAMPLES)) \
.filter(inside).count()
print "Pi
浏览 5提问于2017-04-04得票数 12
回答已采纳
各位同事们，日安。
我试图在SCDF中实现LDAP：
#!/usr/bin/env bash
export spring_datasource_url=jdbc:postgresql://xx.xxx.xx.xx:5432/data_flow
export spring_datasource_username=data_flow_main
export spring_datasource_password=secret
export spring_datasource_driver_class_name=org.postgresql.Driver
java -agentlib:jdwp=tr
浏览 0提问于2018-09-24得票数 0
回答已采纳
1回答
我刚接触过纱线，不了解纱线Containers和火花Executors之间的关系。根据yarn-utils.py脚本的结果，我尝试了下面的配置，这些配置可以用来找到最优的集群配置。
我正在研究Hadoop集群(HDP 2.4)：
1个主节点：
CPU: 2个CPU，每个CPU 6个核=12个核心
RAM: 64 GB
SSD: 2x512 GB
5个从节点：
CPU: 2个CPU，每个CPU 6个核=12个核心
RAM: 64 GB
HDD: 4x3TB= 12 TB
安装了HBase (这是下面脚本的参数之一)
浏览 4提问于2016-07-12得票数 18
回答已采纳
3回答
我们正尝试在yarn上运行我们的spark集群。我们有一些性能问题，特别是与独立模式相比。
我们有一个由5个节点组成的集群，每个节点都有16 We的RAM和8个核心。我们在yarn-site.xml中将最小容器大小配置为3 3GB，最大容器大小配置为14 3GB。当向yarn-cluster提交作业时，我们提供了number of executor = 10，memory of executor =14 GB。根据我的理解，我们的任务应该分配4个14 of的容器。但是spark UI只显示了3个每个7.2 UI的容器。
我们无法确保分配给它的容器数量和资源。与独立模式相比，这会导致有害的性能。
浏览 1提问于2015-02-05得票数 9
我正在尝试运行spring dataflow本地服务器，并为所有应用程序配置rabbitmq绑定器。我在主机172.17.0.2上的docker上运行rabbitmq。
java -jar spring-cloud-dataflow-server-local-1.2.3.RELEASE.jar
--spring.cloud.dataflow.applicationProperties.stream.spring.cloud.stream.binders.rabbit1.type=rabbit
--spring.cloud.dataflow.applicationProperties.str
浏览 1提问于2017-08-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
