前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >EMR入门学习之创建EMR集群(二)

EMR入门学习之创建EMR集群(二)

原创
作者头像
披荆斩棘
修改2019-11-29 17:14:39
3.3K0
修改2019-11-29 17:14:39
举报
文章被收录于专栏:乘风破浪乘风破浪

集群是弹性 MapReduce( EMR )提供托管 服务的基本单元,也是用户使用和管理 EMR 服务的主要对象。本文为您介绍通过腾讯云官网控制台,快速创建 EMR 集群。

一、前提条件:

1、登录腾讯云官网并创建腾讯云账号。

2、登录产品购买页:

方式一:登录腾讯云官网,选择【产品】>【云智大数据基础服务】>【弹性 MapReduce】, 进入 弹性 MapReduce 产品介绍页,在产品介绍页,单击【立即选购】,进入集群创建购买页。 方式二:直接登录控制台,选择产品弹性MapReduce,单击【新建】进入创建购买页。

二、创建流程:

在腾讯云官网自助购买页面中,仅支持依赖于云服务器(CVM)的 EMR 集群创建。如果您需要独享物理机的黑石 EMR 集群,请通过提交工单 的方式进行提交。

1、搭建准备

创建安全组

安全组在云端提供类似虚拟防火墙功能,实现对网络端口的访问控制,是一种重要的安全隔离手段。由于安全组是针对CVM的,所以选择【产品】>【云服务器】>【安全组】进行创建,如下图:

2、创建集群

可用区与软件配置

1、计费模式选择:按量计费、包年包月

关于按量计费与包年包月在云服务器单价,配置升降调整等方面的区别,见如下表格的对比:

2、地域、可用区域选择

目前支持的地域有:广州、上海、北京。不同地域的云产品之间内网不互通。

3、产品版本、组件选择

每个EMR版本对应的组件存在差异,您可以根据业务需求自行选择,如下图:

硬件配置

1、 节点高可用选项(默认开启)

选择 “启动高可用” 后,将会默认开启两个 Master 节点,至少 3 个 Core 节点,以及 3 个 Common 节点,如下图:

2、节点规格配置

包括Master节点配置、Core节点配置、Task节点配置、Common节点配置、Router节点配置。各个节点类型、规格说明如下:

  • Master 节点为管理节点,保证集群的调度正常进行。
  • Core 节点为计算及存储节点,您在 HDFS 中的数据全部存储于 Core 节点中,因此为了保证数据安全,扩容 Core 节点后不允许缩容。
  • Task 节点为纯计算节点,不存储数据,被计算的数据来自 Core 节点及 COS 中,因此 Task 节点往往被作为弹性节点,可随时扩容和缩容。
  • Common 节点为 HA 集群 Master 节点提供数据共享同步以及高可用容错服务。
  • Router 节点用以分担 Master 节点的负载或者作为集群的任务提交机,可以随时扩容和缩容。

节点配置包括实例类型、核数、内存、磁盘类型及大小,其中实例类型包括:大数据型、内存型、高IO型、标准型、计算型。您可以根据自身业务需求进行选择。

3、集群网络

为保证 EMR 集群的安全性,我们将集群各节点放入了一个私有网络中,您需要设置一个私有网络以保证 EMR 集群的正确创建。

如果现有的网络不合适,您可以去控制台新建私有网络或者新建子网。

基础配置

1、所属项目

该集群所在的项目

2、集群名称

用于区分集群,创建后可以修改

3、对象存储

开启后,EMR集群可以读取分析COS上的数据

4、用户名密码

用户名默认名称root,可以修改。

EMR 密码分两个密码:"机器登录密码" 和 "EMR-UI快捷入口密码"

机器登录密码:如果不使用密钥登录,EMR集群中的机器节点,将采用密码方式登录。反之将需要密钥登录机器,密码对机器的登录将失效。

EMR-UI快捷入口密码:EMR提供了集群UI快捷入口,帮助用户查看集群各种状态。快捷入口将采用该密码进行合法验证。

完成以上三大步骤后,点击【购买】,EMR 集群进入创建过程中,在几分钟后(大约 10 分钟)您即可在EMR控制台中找到刚刚创建的集群(集群生产需要一定的时间)。

说明:

若是按量付费集群,集群会立刻开始创建。请耐心等待,集群创建会需要几分钟时间。

若是包年包月集群,则会先生成订单,在支付完成订单以后集群才会开始创建。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 一、前提条件:
  • 二、创建流程:
    • 1、搭建准备
      • 创建安全组
    • 2、创建集群
      • 可用区与软件配置
      • 硬件配置
      • 基础配置
相关产品与服务
弹性 MapReduce
弹性 MapReduce (EMR) 是基于云原生技术和泛 Hadoop 生态开源技术的安全、低成本、高可靠的开源大数据平台。提供易于部署及管理的 Hive、Spark、HBase、Flink、StarRocks、Iceberg、Alluxio 等开源大数据组件,帮助客户高效构建云端企业级数据湖技术架构。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档