创建集群

最近更新时间:2024-04-30 10:52:11

我的收藏

操作场景

本文为您介绍通过 EMR 控制台创建一个 EMR on CVM 集群的操作步骤和相关配置。

操作步骤

登录 EMR 控制台 ,在 EMR on CVM 集群列表页单击创建集群,创建集群时,您需要对集群进行软件配置、区域与硬件配置、基础配置和确认配置信息四个步骤。

软件配置

配置项
配置说明
地域
集群所部署的物理数据中心,每个地域(region)都指一个独立的物理数据中心,不同地域间的云服务器内网不互通。注意:集群创建后,无法更改地域,请谨慎选择。
集群类型
EMR on CVM 支持多种集群类,请根据实际业务需要选择进行集群创建默认 Hadoop 集群类型。各集群类型介绍请参见 集群类型
应用场景
基于 Hadoop 集群类型支持五种应用场景,分别为:默认场景、zookeeper、HBase、Presto、Kudu;根据实际业务需要选择相应的应用场景进行部署。
产品版本
不同产品版本上捆绑的组件和组件的版本不同。
部署组件
非必选组件,根据自身需求组合搭配自定义部署。
Kerberos 模式
默认关闭,开启后,集群中的开源组件以 Kerberos 的安全模式启动,详细信息请参见 Kerberos 简介
依赖组件模式
默认关闭,开启后,使用已构建集群的组件共享给当前集群使用,依赖模式介绍请参见 组件配置共享注意:由于所选组件部署在已有集群,提供依赖组件的集群将无法直接销毁,需优先销毁所有依赖其组件的集群。
软件配置
可选配置,集群启动前,可以指定 json 文件修改组件的配置参数,或访问外部集群,详情请参见 软件配置




区域与硬件配置

配置项
配置说明
计费模式
支持包年包月和按量计费两种模式。包年包月:提前预付 N 个月的产品费用,相比按量付费价格更低。按量计费:按照使用时长付费,需对账户进行实名认证,在开通时需冻结2小时的费用(代金券不可用作冻结凭证),销毁时退还冻结资源费用。
(跨)可用区
1. 可以按需选择是否跨区部署,跨可用区部署会将服务、管理角色合理分配到多可用区,跨可用区部署可不同程度提供服务高可用的能力,默认单可用区,跨可用区白名单开放。
2. 同一地域下不同可用区支持机型规格不同,建议选择最新可用区;处在不同地域的云产品内网不通,购买后不能更换。建议选择靠近业务数据的地域可用区,以降低访问延迟、提高下载速度。
部署策略
当选择跨可用区部署时,支持平均策略和均衡策略。平分策略:“主可用区 + 第二可用区”的部署方案,当第二可用区异常时,主可用区可正常提供服务。
均衡策略:“主可用区 + 第二可用区 + 均衡可用区”的部署方案,主可用区与第二可用区互备部署,当任一可用区异常时不影响其他可用区正常提供服务。
集群网络
为保证 EMR 集群的安全性,我们会将集群各节点放入一个私有网络中,您需要设置一个私有网络以保证 EMR 集群的正确创建。
集群外网
可用于外网登录 SSH 和外网访问组件 WebUI,集群创建成功后可在控制台对该网络进行调整。默认开启 master1节点的外网。
安全组
安全组具有防火墙功能,用于设置云服务器 CVM 的网络访问控制。如果没有安全组,EMR 会自动帮您新建一个安全组。若已经有在使用的安全组可以直接选择使用。若安全组数量已达到上限无法新建,可删除部分不再使用的安全组。查看已在使用的安全组。
创建安全组:EMR 帮助用户创建一个安全组,开启22和30001端口及必要的内网通信网段。
已有 EMR 安全组:选择已创建的 EMR 安全组作为当前实例的安全组,开启22和30001端口及必要的内网通信网段。
远程登录
22端口常用于远程登录,新建安全组将默认开启,您可以根据业务需要关闭该端口,默认开启。
高可用(HA)
默认启动高可用,不同集群类型和应用场景在 HA 或非 HA 场景下,不同节点类型部署数量不同,详情请参见 集群类型
节点类型
根据业务需要为不同节点类型选择合适机型配置。详情请参见 业务评估
说明:
1. 目前支持 Core 节点、Task 节点和 Router 节点挂载多种云盘类型(每种云盘类型最多只能选择1次)和多块云盘(最多20块)。
2. 本地盘机型不支持部署在 Master 和 Common 节点上,请选择非本地盘机型。
置放群组
可选配置,放置群组是云服务器实例在底层硬件上分布放置的策略,详情请参见 置放群组
Hive 元数据库
如果选择了 Hive 组件,Hive 元数据库提供了两种存储方式:
第一种集群默认,Hive 元数据存储于集群独立购买的MetaDB;
第二种是关联外部 Hive 元数据库,可选择关联 EMR-MetaDB 或自建 MySQL 数据库,元数据将存储于关联的数据库中,不随集群销毁而销毁。详情请参见 Hive 元数据管理
注意:当选择 Hue、Ranger、Oozie、Druid、Superset 一个或多个组件时系统会自动购买一个 MetaDB 用于除 Hive 外的组件元数据存储。




基础配置

配置项
配置说明
所属项目
将当前集群分配给不同的项目组注意:集群创建后暂不支持修改所属项目。
集群名称
通过设置集群名称,来区分不同的 EMR 集群。系统随机生成支持修改,集群的名字,长度限制为6-36个字符,只允许包含中文、字母、数字、-、_。
登录方式
目前 EMR 提供两种登录集群服务、节点、MetaDB 的方式,自定义设置密码方式和关联密钥方式;SSH 密钥仅用于 EMR-UI 快捷入口登录。其中,用户名默认为“root”,superset 组件 WebUI 快捷入口的用户名为“admin”。
引导操作
可选配置,引导脚本操作方便您在创建集群的过程中执行自定义脚本,以便您修改集群环境、安装第三方软件和使用自有数据;更多设置请参见 引导操作
标签
可选配置,您在创建时对集群或节点资源添加标签,以便于管理集群和节点资源,最多可绑定5条,标签键不可重复。




确认配置

配置项
配置说明
配置清单
确认所部署信息是否有误。
自动续费
可选项,系统将在集群到期前7天,每天检测用户账户上的可用余额是否充足,设置为自动续费的集群资源进行续费;包年包月集群默认勾选自动续费,用户可手动取消勾选。
协议条款


完成以上配置后,单击购买进行支付,支付成功后 EMR 集群进入创建过程,大约10分钟后即可在 EMR 控制台中找到新建的集群。
注意
按量计费集群:立刻开始创建。 集群创建完成后,集群的状态变为运行中。
包年包月集群:先生成订单,支付完成订单以后集群才会开始创建。
您可以在 CVM 控制台中查看各节点的实例信息,为保证 EMR 集群的正常运行,请不要在 CVM 控制台中更改这些实例的配置信息。

后续步骤

集群创建成功后,您可根据自身情况登录集群后,对集群进行进一步的配置等操作,具体操作可参考如下文档: