EMR 开发指南

产品概述

最近更新时间:2020-05-08 15:59:24

简介

弹性 MapReduce(EMR)结合云技术和 Hadoop、Hive、Spark、Hbase、Presto、Flink 、Druid、ClickHouse 等社区开源技术,提供安全、低成本、高可靠、可弹性伸缩的云端泛 Hadoop 大数据架构。您可以在数分钟内创建安全可靠的专属 Hadoop 集群,以分析位于集群内数据节点或对象存储 COS 上的 PB 级海量数据。

功能特性

弹性 MapReduce 的组件完全源于开源社区,您可以将现有的大数据集群无缝平滑迁移至腾讯云上。弹性 MapReduce 产品中集成了社区中常见的热门组件,包括但不限于 Hadoop、Hive、Hbase、Spark、Presto、Sqoop、Hue、Druid、ClickHouse 等,可以满足您对大数据在线业务、离线/近线数据仓库、实时流式计算等全方位场景的需求。

弹性 MapReduce 无缝集成了腾讯云对象存储(COS)服务,您可将原本存储于 HDFS 中的文件放置在可无限扩展、存储成本低且高可靠的 COS 中,实现计算存储分离。依托于 COS,您可以在需要的时候创建集群,并在任务完成后销毁集群。与此同时,您无需担心数据的丢失。按需创建的集群,可以大幅度降低您的大数据处理成本。

弹性 MapReduce 定义了5种节点类型:Master 节点、Core 节点、Task 节点、Router 节点和 Common 节点。各类型节点作用,请参见 节点类型说明

弹性 MapReduce 目前支持多种资源规格,您可以采用标准型、标准网络优化型、内存型、高 IO 型、计算型、计算网络增强型及大数据机型实例作为计算资源。若您需要在黑石物理主机上部署集群,请 提交工单 联系我们。

目录