我定期通过yarn安排spark应用程序，并使用yarn web UI来跟踪这些应用程序。但是，我还不能弄清楚applications表中的这一列是指什么： ? 有没有人知道"% of Queue“在这个上下文中是什么意思？
浏览 179提问于2020-11-03得票数 3
回答已采纳
1回答
如果是，如何使用Ambari UI启用它？: Failed to submit application_1528895103783_0002 to YARN : org.apache.hadoop.security.AccessControlException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1528895103783_0002 toYARN : org.apac
浏览 1提问于2018-06-13得票数 0
回答已采纳
我安装了haddop 2.6.0，并按照Apache 中的单个集群说明进行操作$ sbin/start-yarn.sh n.sh at org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacitySche
浏览 2提问于2015-02-06得票数 3
我使用的是EMR-5.9.0，在更改了一些配置文件后，我想重新启动服务以查看效果。我如何才能做到这一点？
浏览 0提问于2017-10-12得票数 10
我需要在hadoop集群中禁用YARN应用程序的并行执行。现在，YARN具有默认设置，因此可以并行运行多个作业。我看不出这样做有什么好处，因为这两个作业的运行速度都比较慢。我发现这个设置yarn.scheduler.capacity.maximum-applications限制了应用程序的最大数量，但它同时影响已提交和正在运行的应用程序(如文档中所述)。我希望将提交的应用程序保留在队列中，直到当前运行的应用程序未完成。如何做到这一点？
浏览 1提问于2017-03-29得票数 6
1回答
但是，第二个作业似乎处于可接受的状态，在我杀死第一个作业之前，它永远不会过渡到运行状态。以下是纱线UI中的视图：下面是第二个作业的详细信息，您可以看到没有分配任何节点：
我有两个数据，所以我应该能够运行多个作业。下面是我的yarn-site.xml的相关部分(文件中唯一的其他配置是与HA配置、动物园管理员等相关的)： <name>yarn.scheduler.minimum-allocation-mb<
浏览 5提问于2015-11-01得票数 8
回答已采纳
我在重新平衡YARN 队列上的Apache Spark作业资源时遇到了问题。$HADOOP_HOME/etc/hadoop</
浏览 70提问于2015-10-12得票数 20
1回答
所谓容器分配，我指的是将容器放在集群中的特定机器上的决定。
我想编写我自己的容器分配代码。首先，我正在运行Hadoop的伪分布式模式与纱线.我试图在源代码中找到相关的点。到目前为止，通过使用print语句，我已经能够确定发生分配的类hadoop-source-code/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-common&
浏览 0提问于2016-06-12得票数 1
回答已采纳
我是Hadoop的新手，我正在尝试学习它，并遇到了两个版本的InputFormat。
这两个apis的解释似乎是相同的，但一个是接口，另一个是类。有人能告诉我为什么Hadoop里有两个接口有相同的解释吗？
浏览 0提问于2014-11-27得票数 0
特别是在尝试执行以下操作时2017-11-27 13:50:29,252 INFO org.apache.hadoop.yarn.server.res
浏览 4提问于2017-11-28得票数 1
1回答
我正试图在我的独立节点中设置容量调度程序队列，我对此有一个问题。 </property>下面的日志
2014-02-18 08:09:54,940 INFO org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.LeafQ
浏览 1提问于2014-02-18得票数 0
1回答
我知道在纱线集群上运行星火应用有两种模式。
在纱线-集群模式中，驱动程序在应用程序母版(在纱线集群内)中运行。在纱线-客户端模式中，它在提交作业的客户端节点中运行。我想知道使用一种模式比另一种模式有什么好处？我们应该在什么情况下使用哪种模式。
浏览 2提问于2016-05-07得票数 2
回答已采纳
我可以在Tez上运行hive，但在tez ui中看不到任何作业。
配置是空的: tez-site.xml <name>tez.history.logging.service.classorg.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value><
浏览 5提问于2016-05-27得票数 6
我想检查钟表中的节点标记功能。为此，我创建了一个节点标签(X)，并将其映射到一个数据节点node1。/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi -Dmapred.job.queue.name=protegrity -Dnode_label_expression<value>default,hawqque,protegrity</value>
但是，当我执行- <e
浏览 1提问于2016-09-16得票数 0
2回答
我在纱线中使用容量调度器，我发现用户可以通过使用属性“纱线最小用户限制百分比”来获得队列中的最小百分比。例如，如果我在队列空闲时运行一个应用程序，纱线将为该应用程序分配所有请求的资源。当另一个用户随后运行相同的应用程序时，纱线分配的资源与队列中剩余的资源一样多，队列就会被填满。我是不是遗漏了什么？我认为这个参数使请求独立于可用资源，直到达到每个用户的最低百分比。\_applications hadoop,yarn,mapred,hdfs,spark
浏览 3提问于2017-08-13得票数 2
我在HDP 2.0上运行星火PI示例时遇到了问题 .(Shell.java:589) at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195) at org.apache.hadoop.yarn.server.nodemanager.c
浏览 1提问于2014-07-04得票数 0
回答已采纳
1回答
Description：我试图使用java筛选器来保护对spark.ui.filters的访问，这是通过使用属性spark.ui.filters；问题是，当spark在纱线模式下运行时，该属性一直被hadoopspark.ui.filters: org.apache.hadoop.yarn.server.webproxy.amfilter.AmIpFilter
这两个参数由haddoop自动传递。spark.org.apache.hadoop.
浏览 1提问于2018-01-09得票数 2
回答已采纳
2回答
当我在cdh集群上启动H2o时，会得到以下错误。我把所有东西都下载了，然后按照教程做了。我执行的命令是这表明集装箱没有被使用。还不清楚在hadoop上这些设置是什么。我已经给出了所有的设置内存。内存的0.0没有意义，为什么容器不使用内存。集群现在正在运行吗？----- YARN cluster metrics ----
浏览 5提问于2016-05-08得票数 1
回答已采纳
找不到任何错误的配置或者日志告诉我出了什么问题。我不能在:8088上看到任何netstat -la。<configuration> <!-- MapReduce JobHistory Server Web UI host:port -->2016-07-19 16:18:57,349 INFO org.apache.hadoop
浏览 0提问于2016-07-19得票数 0
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
