有奖捉虫:办公协同&微信生态&物联网文档专题 HOT
本文将为刚入门弹性 MapReduce(EMR)的用户提供一条学习的路径。

1. 熟悉 EMR 的基础知识

2. EMR 的计费模式

腾讯云 EMR 的计费模式分为按量计费和包年包月计费。全面了解 EMR 的计费模式,有利于您选择最优的计费方案,计费详情请参见 EMR on CVM 计费说明

3. 新手入门

3.1 业务评估 在购买集群前,需要根据实际情况对具体的业务进行评估,以确保创建的集群是符合您实际需求的。详情请参见 业务评估3.2 选购 EMR 集群 在使用腾讯云 EMR 之前,您需要注册腾讯云账号,然后在官网 产品介绍页 单击立即选购创建集群,创建集群可参考 EMR on CVM 快速入门3.3 角色授权 集群创建成功后,需要在控制台对各协作者/子账号进行权限授权,详情请参考 协作者/子账号权限角色授权3.4 登录 EMR 集群 弹性 MapReduce 可通过两种方式登录集群,远程登录软件登录(本地系统为 Windows)使用 SSH 登录(本地系统为 Linux/Mac OS),详情请参考 登录集群3.5 配置集群 登录集群后,可根据自身情况完成集群的配置,配置集群可参考 软件配置、设置 引导操作设置标签 等。

4. 控制台功能概述

如果您想
您可以阅读
在集群列表中查看集群的详细信息
查看服务告警记录和集群中改变过状态的服务,例如进程重启、创建集群、扩缩容集群等
销毁集群
导出存量集群的软件配置参数,后续在新建集群时可使用这些参数进行 软件配置,从而快速新建一个熟悉的集群
在集群中新增未安装的组件
修改组件参数配置
使用配置组将部署同一组件的不同规格或用途的节点进行分组配置管理
对各组件参数最近的一次配置回滚
将 CHDFS 挂载到 EMR 集群
实现组件级别的重启和新增组件。使用高级管理,可以针对组件中的服务及节点级别进行重启、暂停、维护的操作
通过 Master 节点的外网 IP,快捷访问组件原生 UI
未开启 Master 节点公网的集群查看组件原生 WebUI
扩缩容集群中的节点,包括 Master 节点、Core 节点、Task 节点、Common 节点、Router 节点和元数据库 MySQL
通过 EMR 控制台变更实例的配置
选择设置 CORE、TASK、ROUTER 扩容时的硬件规格
查看集群运行状态的总体视图,获取集群运行状态、核心服务指标、核心节点指标以及节点负载 TOP10 情况
对 HDFS、YARN、HIVE、ZOOKEEPER、SPARK、HBase、PRESTO 等服务进行详细监控
查看集群所有节点监控概览和所有节点列表,以及所有节点热点图
配置弹性 MapReduce 节点和服务监控指标的告警策略
查看监控指标
通过关键词搜索集群核心服务日志和节点系统日志,在不登录节点的情况下快速查看服务关键日志

5. 数据迁移

腾讯云 EMR 数据迁移目前支持两种数据迁移,第一种是通过腾讯云对象存储 COS 中转,第二种是自建 HDFS 通过 DistCp 方式迁移,此模式下需要实现自建集群和腾讯云 EMR 集群的网络互通。

5.1 通过 COS 迁移数据

迁移数据包括两种:原始数据为非 HDFS 的数据和原始数据为 HDFS 的数据,详细操作过程可参考 HDFS 通过对象存储数据迁移实践

5.2 自建 HDFS 通过 DistCp 方式迁移

自建 HDFS 通过 DistCp 方式迁移数据,详细步骤可参考 DistCp 迁移数据

5.3 数据迁移典型示例

1. HBase 迁移有多种方案,其中基于 Snapshot 的迁移方式是推荐的迁移方案。详情请参考 HBase 数据迁移实践
2. Hive 迁移涉及两部分,数据迁移和元数据迁移。Hive 表数据主要存储在 HDFS 上,故数据的迁移主要在 HDFS 层。Hive 的元数据主要存储在关系型数据库,可平滑迁移到云上 TencentDB,并可保障高可用。详情请参考 Hive 数据迁移实践

6. 新手常见问题

6.1 计费相关问题

6.2 弹性 MapReduce 集群管理常见问题

7. 反馈与建议

使用腾讯云 EMR 产品和服务中有任何问题或建议,您可以通过以下渠道反馈,将有专人跟进解决您的问题:
如果发现产品文档的问题,如链接、内容、API 错误等,您可以单击文档页右侧文档反馈或选中存在问题的内容进行反馈。
如果遇到产品相关问题,您可咨询 在线客服 寻求帮助。
如果您有其他疑问,可前往 腾讯云开发者社区 进行提问。