EMR 开发指南

集群扩容

最近更新时间:2020-08-28 10:49:47

功能介绍

当 EMR 集群计算资源、存储资源不足时,可以通过控制台对 Core 节点和 Task 节点进行扩容。当集群主节点(master 节点)负载较高或不够使用时,可以通过扩容或新增路由节点(router 节点)分担 Master 节点的负载,或作为集群的任务提交机,并支持随时扩容和缩容。

当前扩容实例规格为默认新建集群时选择实例规格,若当前默认规格无货或调整扩容配置时,需在【节点规格】进行设置。

前提条件

  • 扩容 Router 节点:Router 节点可作为提交机使用,可以在 Router 节点上向集群正常提交计算 Yarn、Hive、Spark 等计算任务,因此建议选择较大内存的机型,最好不低于 Master 规格。
  • 集群为包年包月计费时,扩容节点(task 节点、router 节点)计费模式支持混合部署,即支持按量计费和包年包月计费。core 节点不支持混合部署,只支持包年包月计费。
  • 集群为按量计费时,所有节点扩容均支持按量计费模式。

操作步骤

  1. 登录 EMR 控制台,在【集群列表】中单击对应的集群【ID/名称】进入集群详情页。
  2. 在集群详情页中选择【集群资源】>【资源管理】>【扩容】,根据业务需要选择需要扩容的节点类型(Core、Task、Router)计费模式、扩容可选服务、扩容数量等操作配置。
  3. 选择扩容节点所需的组件和数量后,单击【确认】,成功支付后,集群会开始扩容操作,扩容操作一般需要10 - 20分钟。
    • 部署进程:是指不同节点类型选择扩容组件后对应部署的服务进程信息。您也可以选择勾选【显示部署进程】查看部署进程。
    • 标签:设置标识扩容节点资源。
    • 当前规格:为默认规格。
      • 若未设置扩容默认规格,可在 节点规格管理 中设置。
      • 扩容时为节点默认规格,如需调整,请到节点规格调整。
  4. 当 ClickHouse 集群进行扩容时,高可用实例(HA),扩容节点数量是偶数;非高可用实例(HA),扩容节点数量无限制。需要选择所属 cluster,支持选择已有 Cluster 和新建 Cluster 两种。
    注意:

    ClickHouse 集群扩容成功后虚拟集群 Cluster 中新增节点没有数据,系统不会进行数据迁移,需要手动进行数据迁移;以达到数据均衡充分提升资源利用率;请在集群扩容成功后及时进行数据迁移。

目录