我最近将HDP从2.6.5升级到了3.1.0，它运行YARN 3.1.0，并且我不能再使用旧版本(：8088/ ResourceManager /apps)或新版本(:8088/ui2/index.html#/ YARN -apps/apps)从yarn集群UI中删除应用程序。我仍然可以使用RHEL7中的外壳和yarn<e
浏览 205提问于2019-02-15得票数 1
我的组织目前正在使用Hortonworks HDP来管理Hadoop集群。默认的纱线调度程序是容量调度器。我想换一个公平的日程安排。我对HDP完全陌生。在没有集群管理套件的情况下，这可以通过编辑Searn-site.xml并将yarn.resourcemanager.scheduler.class属性更改为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler，并创建一个额外的
浏览 0提问于2016-07-05得票数 5
1回答
我无法在Ambari中加载yarn应用程序日志。在ambari门户中点击链接'Resourcemanager UI‘->应用程序->应用程序id后，它继续加载页面并且无法查看输出。但是，我可以使用'yarn logs -application‘查看yarn应用程序日志。
任何线索，这是我无法在门户网站中查看日志的原
浏览 1提问于2019-11-19得票数 0
程序详情:-我们使用下面的命令向这个Master现在，当我们杀死"Master“进程时，我们可以看到提交的作业运行良好，这在这里是预期的，因为我们正在使用yarn模式，该作业将不会出现任何问题。
现在我们终止了"Master“进程。但是，当我们再次提交相同的命令" Spark - submit“，指向当前关闭的相同M
浏览 27提问于2017-01-30得票数 1
2回答
下面是提交作业后在控制台上看到的输出：
以下是:纱线原木-applicationId application_1490572543329_0002的输出
17/03/26 20:24:09 WARN我使用运行在Virtualbox上的4VM‘s分操作系统来模拟分布式环境
浏览 5提问于2017-03-29得票数 2
回答已采纳
我从Ambari运行Yarn和Spark，并设置了有趣的配置：yarn.resourcemanager.scheduler.monitor.enable=trueyarn.sc
浏览 12提问于2018-01-22得票数 2
回答已采纳
我在YARN上运行Spark应用程序，当我使用以下命令终止作业时：我无法从Hadoop GUI(ResourceManager)转到killed应用程序的Spark Job GUI。我正在使用YARN日志聚合服务来聚合日志。同样，我可以使用以下命令访问应用程序日志：
yarn
浏览 0提问于2015-10-02得票数 2
我可以在Tez上运行hive，但在tez ui中看不到任何作业。
</property> <description>URL for where the Tez UIis hosted</description>
<name>tez.tez-<
浏览 5提问于2016-05-27得票数 6
我尝试了各种命令，但在查看yarn日志时仍然存在问题，下面是我查看日志所遵循的步骤
Total number ofUNDEFINED 0%
浏览 6提问于2017-04-03得票数 2
使用以下脚本在YARN (Hadoop 2.6.0.2.2.0.0-2041)上运行Spark 1.3.0 Pi示例时：export HADOOP_CONF_DIR据我所知，在YARN模式下运行Spark应用程序的所有必要信息都在此启动脚本中提供。要在纱线上运行，还应该配置什么。遗漏了什么？纱线发布失败的其他原因？acls to: test
15/04/01 13:00:03 INFO spark.SecurityManager: Se
浏览 0提问于2015-04-01得票数 8
).count();
}我想在yarn集群中运行，是否可以避免使用spark-submit和(当然假设我可以访问一个集群节点)，只需在上下文中指定我想要在yarn上运行？换句话说，有没有可能将spark客户端作为一个常规的java应用程序来使用yarn？
浏览 0提问于2016-09-09得票数 6
DataNode工作正常，但我无法让Nodemanager工作。删除后，我删除了带有yum的hadoop纱线包，然后使用ambari重新安装了它。/script/script.py", line 112, in execute File "/var/lib/ambari-agent/cache/stacks/HDP/lib/ambari-agent/cache
浏览 1提问于2014-07-10得票数 1
在使用命令构建Spark之后，我使用Hive 0.14.0.2.2.0.0-2041实现了Hadoop 2.6.0.2.2.0.0-2041：我尝试使用以下命令在YARN上运行Pi示例：java.lang.Exception:
浏览 3提问于2015-04-06得票数 3
我们的Spark web UI (当从Yarn UI或Spark History Server访问时)不再更新，当我查看正在运行的Spark应用程序(我们的应用程序在Hadoop/Yarn集群上以客户端模式运行这曾经适用于Spark 1.5.2，但在我们升级到HDP 2.6.4 (因此Spark 1.6.3和Spark 2.2.0)之后，我现在必须等待应用程序完成，然后才能进行web UI更新(对于1.6.
浏览 0提问于2018-08-19得票数 2
2回答
我遇到了一个奇怪的问题:在星火主url上运行一个应用程序，其中UI无限期地报告“等待”的“状态”，因为无论我将核心计数配置为什么，都会在运行的应用程序表下显示0核心。该应用程序在运行时或内核期间也不使用任何内存，并在启动时立即进入等待状态。spark.yarn.containerLauncherMaxThreads 25spark.history.ui.po
浏览 7提问于2016-02-03得票数 4
我在Ubuntu12.04上有一个启动并运行Ambari服务器和HDP应用程序，主机名解析为公共IP地址。我有一项任务，就是用回环地址取代公众的IP地址。在这些更改之后，当我重新启动系统时，HDP应用程序将不会出现。我能知道我还错过了什么吗？storm_server_process和主机本地主机错误警报上的组件STORM_UI_SERVER -event bus-2 AlertReceivedListe
浏览 5提问于2016-05-09得票数 0
回答已采纳
我的火花应用程序，它运行在纱线集群上，崩溃了，我正在试图确定根本原因。在我使用yarn logs -applicationId <application_id>从纱线中获得的日志中，我看到大量连接在块获取期间被拒绝，还有一个内存错误。很难说是什么原因造成的。我的问题是，当容器因为OutOfMemory异常而被杀死时会发生什么。-Xmx5120m '-DENVIRONMENT=pt‘-Djava.io.tmpdir=$PWD/tmp’-dspack.History y.ui.
浏览 0提问于2018-10-23得票数 0
在virtualenv中有使用python3 (和一些特定库) python文件的情况(以便将库版本与系统的其余部分隔离)。: hdp.version is not set while running Spark under HDP, please set through HDP_VERSION in spark-env.sh: Submitting application application_1572898343646_0029 to ResourceManager
19/12/
浏览 98提问于2019-12-13得票数 1
回答已采纳
1回答
我们得到了这个错误：
由于资源管理器无法工作，我们无法从纱线中删除“application_14703
浏览 1提问于2016-09-07得票数 0
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
