EMR 开发指南

集群扩容

最近更新时间:2021-09-06 11:46:33

功能介绍

当 EMR 集群计算资源、存储资源不足时,可以通过控制台对 Core 节点和 Task 节点进行扩容。当集群主节点(master 节点)负载较高或不够使用时,可以通过扩容或新增路由节点(router 节点)分担 Master 节点的负载,或作为集群的任务提交机,并支持随时扩容和缩容。

当前扩容实例规格为默认新建集群时选择实例规格,若当前默认规格无货或调整扩容配置时,需在节点规格进行设置。

前提条件

  • 扩容 Router 节点:Router 节点可作为提交机使用,可以在 Router 节点上向集群正常提交计算 Yarn、Hive、Spark 等计算任务,因此建议选择较大内存的机型,最好不低于 Master 规格。
  • 集群为包年包月计费时,扩容节点(task 节点、router 节点)计费模式支持混合部署,即支持按量计费和包年包月计费。core 节点不支持混合部署,只支持包年包月计费。
  • 集群为按量计费时,所有节点扩容均支持按量计费模式。

操作步骤

  1. 登录 EMR 控制台,在集群列表中单击对应的集群 ID/名称进入集群详情页。
  2. 在集群详情页中选择集群资源 > 资源管理 > 扩容,根据业务需要选择需要扩容的节点类型(Core、Task、Router)计费模式、扩容可选服务、扩容数量等操作配置。
  3. 选择扩容节点所需的组件和数量后,单击确认,成功支付后,集群会开始扩容操作,扩容操作一般需要10 - 20分钟。
    • 部署进程:是指不同节点类型选择扩容组件后对应部署的服务进程信息。同时可勾选显示部署进程查看部署进程。
    • 扩容后不启动服务:扩容时在勾选此选项后,本次扩容的节点将不启动服务,需要启动服务时,请通过 启停服务 启动对应节点的服务。
    • 标签:设置标识扩容节点资源。
    • 当前规格:为默认规格。
      • 若未设置扩容默认规格,可在 节点规格管理 中设置。
      • 扩容时为节点默认规格,如需调整,请到节点规格调整。
  4. 当 ClickHouse 集群进行扩容时,高可用实例(HA),扩容节点数量是偶数;非高可用实例(HA),扩容节点数量无限制。需要选择所属 cluster,支持选择已有 Cluster 和新建 Cluster 两种。
    注意:

    ClickHouse 集群扩容成功后虚拟集群 Cluster 中新增节点没有数据,系统不会进行数据迁移,需要手动进行数据迁移;以达到数据均衡充分提升资源利用率;请在集群扩容成功后及时进行数据迁移。