EMR 开发指南

创建 EMR 集群

最近更新时间:2020-09-08 17:57:21

操作场景

本文为您介绍通过 EMR 控制台创建一个 EMR 集群的操作。

操作步骤

登录 EMR 控制台,在集群列表页单击【创建集群】。

1. 可用区与软件配置

  • 计费模式:支持包年包月和按量计费。
    • 包年包月:提前预付 N 个月的产品费用,相比按量付费价格更低。
    • 按量计费:按照使用时长付费,需对账户进行实名认证,在开通时需冻结1小时的费用(代金券不可用作冻结凭证),销毁时退还。
  • 地域和可用区:目前支持的地域有:广州、上海、北京、中国香港、新加坡、硅谷、成都、南京、孟买、莫斯科。不同地域的云产品之间内网不互通。
  • 集群类型:EMR 目前支持三种集群部署方式,分别为:Hadoop 集群、ClickHouse 集群、Druid 集群;根据实际业务需要选择集群类型进行部署。
  • 版本和组件:EMR 推荐了一些常用的 Hadoop 软件搭配,您也可以根据自身需求组合各软件。
  • Hive 元数据库:如果选择了 Hive 组件,Hive 元数据库提供了两种存储方式:第一种集群默认,Hive 元数据存储于集群独立购买 MetaDB;第二种是关联外部 Hive 元数据库,可选择关联 EMR-MetaDB 或自建 MySQL 数据库,元数据将存储于关联的数据库中,不随集群销毁而销毁。
  • Kerberos 安全集群:是否开启集群的 Kerberos 认证功能。一般的个人用户集群无需该功能,默认关闭。
  • 软件配置:按照要求填写参数可实现自定义软件参数创建集群,同时兼容访问外部集群功能,在参数中正确配置访问地址信息即可读写外部集群的数据。单击软件配置处图标可查看相关说明,如下图。

2. 硬件配置

  • 节点高可用(HA):选择【启动高可用】后,Hadoop 集群将会默认开启2个 Master 节点,至少3个 Core 节点,以及3个 Common 节点,节点类型介绍请参见 节点类型说明
  • 硬件配置:节点规格配置,EMR 提供了多种节点规格,您可以根据业务需要自由选择节点类型、核数、内存、磁盘类型及大小。
    说明:

    目前仅 Core 节点支持挂载多种云盘类型(每种云盘类型最多只能选择1次)和多块云盘(最多5块)。

  • 集群网络:为保证 EMR 集群的安全性,我们将集群各节点放入了一个私有网络中,您需要设置一个私有网络以保证 EMR 集群的正确创建。

3. 基础配置

  • 集群名称:通过设置集群名称,来区分不同的 EMR 集群。
  • 安全组:安全组具有防火墙功能,用于设置云服务器 CVM 的网络访问控制。如果没有安全组,EMR 会自动帮您新建一个安全组。若已经有在使用的安全组可以直接选择使用。若安全组数量已达到上限无法新建,可删除部分不再使用的安全组。查看已在使用的 安全组
    • 创建安全组:EMR 帮助用户创建一个安全组,开启22和30001端口及必要的内网通信网段。
    • 已有 EMR 安全组:选择已创建的 EMR 安全组作为当前实例的安全组,开启22和30001端口及必要的内网通信网段。
  • 远程登录:22端口常用于远程登录,新建安全组将默认开启,您可以根据业务需要关闭该端口。
  • 对象存储:开启对象存储(COS)后,EMR 集群可以直接计算存储在 COS 中的数据,以实现计算存储分离,降低大数据处理成本。为保证 EMR 有权限访问到 COS 中的数据,请输入 COS 的 API 密钥。
  • 添加引导操作:引导脚本操作方便您在创建集群的过程中执行自定义脚本,以便您修改集群环境、安装第三方软件和使用自有数据。
  • 标签:您在创建时对集群或节点资源添加标签,以便于管理集群和节点资源,最多可绑定5条,标签键不可重复。

4. 完成创建

完成以上配置后,单击【购买】进行支付,支付成功后 EMR 集群进入创建过程,在大约10分钟后即可在 EMR 控制台中找到刚创建的集群。

注意:

您可以在 CVM 控制台中查看各节点的实例信息,为保证 EMR 集群的正常运行,请不要在 CVM 控制台中更改这些实例的配置信息。

后续步骤

集群创建成功后,您可根据自身情况登录集群后,对集群进行进一步的配置等操作,具体操作可参考如下文档:

目录