Yarn【label-based scheduling】实战总结(二)

洋哥实践大作。

1.1 Label-based scheduling实战问题汇总

1.1.1 ClassNotFoundException

问题现象,执行yarnrmadmin –refreshQueues命令时报以下错误:

java.lang.ClassNotFoundException:Class org.apache.hadoop.yarn.server.resourcemanager.scheduler.apacity.sharingpolicy.ConfigurablePartitionsExtentionPolicynot found

报该类问题一般是因为需要的类不存在或者类路径配置错误,经定位是因为类路径弄出了:

org.apache.hadoop.yarn.server.resourcemanager.scheduler.apacity.sharingpolicy.ConfigurablePartitionsExtentionPolicy

修改为:

org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.sharingpolicy.ConfigurablePartitionsExtentionPolicy

1.1.2 IllegalArgumentException:Illegal capacity

问题详细描述:

java.lang.IllegalArgumentException:Illegal capacity of 0.0 for children of queue root for label=part_B

是因为配置文件capacity-scheduler.xml缺少以下配置项:

<property>
 <name>yarn.scheduler.capacity.root.part_B.accessible-node-labels.part_B.capacity</name>
 <value>100</value>
</property>

1.1.3 删除label partition报错

先查看一下Yarn集群的label partition信息:

[root@slave2 hadoop]# yarn cluster--list-node-labels
16/02/25 12:09:21 INFO client.RMProxy:Connecting to ResourceManager at slave2/169.10.35.57:8032
Node Labels:<part_B:exclusivity=true>
[root@slave2 hadoop]#

然后通过yarn rmadmin -removeFromClusterNodeLabelspart_B 命令将label partition(part_B)删除,删除时报以下异常:

java.io.IOException:Cannot remove label=part_B, because queue=part_B is using this label. Pleaseremove label on queue before remove the label

异常提示需要先删除队列与labelpartition的对应关系,之后才能删除labelpartition。

解决方案如下:

修改配置文件capacity-scheduler.xml,将该文件中的以下配置项:

<property>
<name>yarn.scheduler.capacity.root.part_B.accessible-node-labels</name>
<value>part_B</value>
</property>

此时如果把一个Mapreduce程序提交到队列part_B运行,则会直接卡死,如下所示:

出现以上现象的原因是在capacity-scheduler.xml文件中缺少以下配置:

<property>
   <name>yarn.scheduler.capacity.root.accessible-node-labels.part_B.capacity</name>
   <value>100</value>
</property>

1.1.5 refreshQueues Exception

执行yarn rmadmin–refreshQueues命令时报以下错误:

java.io.IOException:part_B cannot be found during refresh!

导致报这个错的原因是:我将目前已经配置好了队列的capacity-scheduler.xml配置文件替换成hadoop原始默认的capacity-scheduler.xml配置文件,并执行yarn rmadmin –refreshQueues命令;之前一直不清楚为什么会报这个错误,无意间在Yarn的官网看到以下描述:

即在Yarn中,队列不能被删除。

相关阅读:

Yarn【label-based scheduling】实战总结(一)

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2016-07-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏c#开发者

使用BizTalk实现RosettaNet B2B So Easy

使用BizTalk实现RosettaNet B2B So Easy 最近完成了一个vmi-hub的B2B项目,使用Rosettanet 2.0的标准与一家品牌商...

33414
来自专栏开发与安全

有关Web 安全学习的片段记录(不定时更新)

很多Web 安全漏洞的产生原因都绕不开两条: 1.违背了“数据与代码分离“原则。它有两个条件:一是用户能够控制数据的输入;二是代码拼凑了用户输入的数据,把数据当...

1830
来自专栏玄魂工作室

CTF实战4 HTTP协议及嗅探抓包

HTTP(Hypertext Transfer Protocol)中文<超文本传输协议>,是一种为分布式,合作式,多媒体信息系统服务,面向应用层的协议,是Int...

552
来自专栏Linyb极客之路

5个REST API安全准则

561
来自专栏极客猴

Django 2.1 版本已经来袭

一个备受关注、很多人都在使用的软件,软件开发团队会定期发布新版本。其主要目的是修复之前一些 Bug 以及新增一些新特性。Django 作为主流的 Python ...

772
来自专栏FreeBuf

如何确定恶意软件是否在自己的电脑中执行过?

很不幸,你在自己的电脑里发现了一个恶意的可执行程序!那么问题来了:这个文件到底有没有执行过? ? 在这篇文章中,我们会将注意力放在Windows操作系统的静态取...

2825
来自专栏Danny的专栏

MySQL安装图解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/huyuyang6688/article/...

653
来自专栏GAN&CV

VNC连不上服务器,无法远程控制

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/d...

671
来自专栏张戈的专栏

启用WP Super Cache纯代码版本之后的一些优化措施

张戈博客在上个月 28 号启用了 WP Super Cache 代码版,几天下来,虽然小问题不断,但是总体感觉非常不错!不管是前台还是后台,速度都有质的提升,着...

2827
来自专栏Crossin的编程教室

Python 实战(2):简单的数据库

上一次,我们已经在网页上显示出了我们要的影片信息。只是,这些信息是我直接在代码中用 dict 变量来定义的。试想以后网站要包含成千上万条影片信息,需要时常更新,...

2566

扫描关注云+社区