如何在CDH中配置YARN动态资源池的计划规则

1.文档编写目的


在CDH中使用Yarn的动态资源池,用户会根据时段来区分集群资源的分配情况(如:在夜晚时段集群资源主要倾向于跑批作业,白天时段集群资源主要倾向于业务部门实时计算作业)。针对这样的需求在CDH中如何配置?本篇文章Fayson主要介绍如何通过CM配置Yarn动态资源池的计划规则。

  • 内容概述

1.创建资源池配置集

2.修改各配置集资源分配及验证

3.总结

  • 测试环境

1.CM和CDH版本为5.15

2.创建资源池配置集


在CDH集群中默认只有一个资源池的配置集,接下来Fayson通过CM创建多个资源池配置集,在本示例中Fayson共创建3个配置集

  • 晚上9点到早上9点使用pool_nigth资源池配置集
  • 早上9点到晚上6点使用pool_day资源池配置集
  • 其它时间段使用default资源池配置集

1.登录CM进入动态资源池管理界面

2.点击“计划模式”进入配置界面

3.点击“创建计划规则”,创建两个新的配置集

创建新的配置集时需要从一个现有的配置集进行复制,可以选择配置集重复周期“每天、每周、每月”,重复时间以小时为单位进行选择。

4.配置集创建完成列表如下

以上步骤只是完成了多个不通时间段使用的配置集。

3.修改各配置集资源分配


1.进入资源池配置主界面

2.将default的配置集root.default和root.users资源池占比修改50%和50%

3.选择pool_nigth资源池,将root.defaut和root.users资源池占比修改为80%和20%

4.选择pool_day资源池,将root.default和root.users资源池占比修改为20%和80%

5.修改完成各个配置集资源池配置后,点击“刷新动态资源池

如上步骤完成各个配置集资源池的配置。

4.验证配置集是否生效


根据资源池配置集的配置规则,当前时间为晚上10点,此时应该使用的资源池为pool_nigth配置集。

1.登录Yarn的8088界面查看资源池的占比

2.点击Scheduler查看资源池的占比情况

可以看到root.default的资源池是root.users资源池占比的4倍,与配置集的计划规则一致。

5.总结


1.通过CM的动态资源池配置,可以方便的创建多个配置集。

2.根据不同时段对资源池的使用进行重新分配,动态的调整不需要手动触发。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-08-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java学习

针对java初学者以及自学者的一篇入门教程

Java基础 | 数据库 | Android | 学习视频 | 学习资料下载 最新通知 按照我去培训机构的学习经历,给初学还有自学Java 的同学一个基本的学习...

44390
来自专栏PPV课数据科学社区

【技术】HDFS存储原理

根据Maneesh Varshney的漫画改编,以简洁易懂的漫画形式讲解HDFS存储机制与运行原理,非常适合Hadoop/HDFS初学者理解。 一、角色出演 ...

41350
来自专栏网络

分布式系统CAP理论

往期精选 在讨论常见架构前,先简单了解一下CAP理论: CAP是Consistency、Availablity和Partition-tolerance的缩写。分...

25570
来自专栏祝威廉

猛犸系统

10.猛犸也支持通过分布式Shell引擎支持传统的服务器模式。并且资源模型和传统的服务器模式同时并存,解决各自擅长的问题

7920
来自专栏达摩兵的技术空间

前端文件下载通识篇

前端如何实现下载文件呢?随着前端技术的发展,越来越多的前端需求中会出现下载文件这样的需求。

76120
来自专栏文渊之博

解决简单恢复模式下产生的日志增长

简介   最近测试服务器进行数据归档,其间程序员发现一个问题,空间不足,我查看原因发现日志文件暴涨。然后将数据库改为简单恢复模式,但是依然存在这个问题。经过查询...

21580
来自专栏Hadoop数据仓库

HAWQ技术解析(十四) —— 高可用性

一、HAWQ高可用简介         HAWQ作为一个传统数仓在Hadoop上的替代品,其高可用性至关重要。通常硬件容错、HAWQ HA、HDFS HA是保持...

309100
来自专栏坚毅的PHP

收集一下用过的linux os

2011-11-09 # uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat...

36350
来自专栏闵开慧

Hadoop功能性能

1 支持的语言 Java/SHELL/Python/ruby等各种支持标准输入输出的语言。 2 能够处理的文件大小 它支持比NFS大得多的文件大小。 3 支持的...

30380
来自专栏Spark学习技巧

HBase最佳实践-读性能优化策略

就职于网易杭州研究院后台技术中心数据库技术组,从事HBase开发、运维,对HBase相关技术有浓厚的兴趣。

54850

扫码关注云+社区

领取腾讯云代金券