有奖捉虫:行业应用 & 管理与支持文档专题 HOT
弹性 MapReduce 支持在控制台执行扩容或缩容时与其他操作流程并行,规避相应异步操作等待时长;本文为您汇总整理控制台流程并行操作。
注意:
1. 包含但不限于以下罗列操作,最终以控制台为准。
2. 流程并行仅支持 EMR on CVM 版。
3. task 节点并行缩容可能导致 Yarn NodeManager 实际下线时间与设置的优雅缩容时间不匹配。2024年4月9日后新建的 Hadoop3.x 版本集群将修复该问题,存量 Hadoop3.x 版本集群请参考NodeManager 节点并行缩容配置文档手动修复。Hadoop2.x 版本集群可支持取消 task 节点并行伸缩,该功能为白名单开放,如需要可 提交工单 联系我们开通。

节点扩缩容并发或互斥

进行中流程
支持扩容节点类型
支持缩容节点类型
扩容 task
task
task
缩容 task
task
task
扩容 core
缩容 core
task
task
扩容 router
缩容 router
扩容 master
缩容 master

扩容或缩容时支持并发流程

说明:
对于重启类操作,仅支持在角色管理页面去勾选节点操作。
进行中流程
可并行操作
前置条件
仅缩容时
配置下发
-
仅缩容时
开启COS功能
-
仅缩容时
新增服务
-
仅缩容时
卸载服务
-
仅缩容时
添加角色
-
仅缩容时
添加联邦NameService
-
扩容或缩容时
修改ranger元数据库
-
扩容或缩容时
编辑标签
-
扩容或缩容时
流程作业
-
扩容或缩容时
联邦同步挂载表
-
扩容或缩容时
联邦修改挂载表
-
扩容或缩容时
变更配置
需要排除掉正在扩缩容的节点
扩容或缩容时
重启
需要排除掉正在扩缩容的节点
扩容或缩容时
启动
需要排除掉正在扩缩容的节点
扩容或缩容时
停止
需要排除掉正在扩缩容的节点
扩容或缩容时
停止监控
需要排除掉正在扩缩容的节点
扩容或缩容时
启动监控
需要排除掉正在扩缩容的节点
扩容或缩容时
同步外部客户端
需要排除掉正在扩缩容的节点
扩容或缩容时
创建外部客户端
需要排除掉正在扩缩容的节点
扩容或缩容时
修复磁盘
需要排除掉正在扩缩容的节点
扩容或缩容时
扩容磁盘
需要排除掉正在扩缩容的节点
扩容或缩容时
添加角色
需要排除掉正在扩缩容的节点
扩容或缩容时
集群脚本
需要排除掉正在扩缩容的节点
扩容或缩容时
挂载云盘
需要排除掉正在扩缩容的节点
扩容或缩容时
服务高级操作
需要排除掉正在扩缩容的节点
扩容或缩容时
移除角色
需要排除掉正在扩缩容的节点

扩容或缩容时不支持并发流程

可并行操作
重置原生UI密码
调整网络访问
变更组件配置
销毁集群
按量转包年包月

NodeManager 节点并行缩容配置文档

注意:
1. 只支持 Hadoop3.x 版本的存量集群(2024年4月9日之前购买的集群)。
2. 建议在业务低峰期,且没有扩缩容流程的情况下操作。
1. 修改 yarn-site.xml 中的配置 yarn.resourcemanager.nodes.exclude-path/usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts.xml
2. 新增配置文件 yarnexcludedhosts.xml,配置如下:
文件名称:yarnexcludedhosts.xml
配置路径:/usr/local/service/hadoop/etc/hadoop
权限属性:755
用户组:hadoop
用户名:hadoop
内容:
<?xml version="1.0"?>
<hosts>
</hosts>
3. 重启 ResourceManager。
4. 查看 WebUI 或者执行 yarn nodes -list 进行检查。
5. 建议优雅缩容 task 节点一次,因为上述操作会修改 yarnexcludedhosts.xml 文件,避免后续出现问题。