EMR 开发指南

产品优势

最近更新时间:2020-10-19 16:45:10

与自建 Hadoop 集群相比,弹性 MapReduce 能提供更方便、更安全、更可靠的云端 Hadoop 服务。

注意:

除提供 Hadoop 集群类型外,还支持 Druid 和 ClickHouse 大数据集群,提供更丰富的大数据架构。

灵活

  • 只需几分钟即可获得一个安全可靠的 Hadoop 集群,以运行 Hive、Spark、Presto 、Impala、ClickHouse、Druid、Flink 等主流开源大数据计算框架,覆盖用户交互式 BI、数仓场景、实时计算等场景的需求。
  • 提供对现有弹性 MapReduce 集群进行快速弹性伸缩的能力,实时调配云端计算资源以应对业务数据的快速波动,节省高昂的预留 IT 硬件成本。

可靠

  • Master 节点容灾设计,备节点秒级拉起,保障大数据服务可用性。
  • 完善的监控体系建设,您可以通过短信渠道秒级感知集群组件及任务的运行异常状况。
  • 支持将 Hive 元数据存放于 MetaDB,元数据可靠性达99.9996%。
  • 支持分析存放于 COS 的高存储耐久性的 PB 级数据。
  • 集群默认开启回收站功能,提供误删除设备的找回机制。

安全

  • 可通过便捷的 VPC 网络安全隔离手段规划托管 Hadoop 集群网络策略,支持网络 ACL 和安全组,可从子网和节点维度筛选流量,全方位满足网络安全需求。
  • 腾讯云品质的安全加固服务为 EMR 集群提供一体化的安全服务,涵盖网络防护、入侵检测、漏洞防护等。
  • 提供集群级别的 Kerberos 认证,保障集群访问安全。

易用

  • 可以响应业务需求创建不同版本的集群分析 COS 上的同一份数据。
  • 可以借助开箱即用的 Hue、Oozie 等社区组件随心分析位于数据节点或 COS 上的 PB 级数据,无需担心产生任何知识迁移成本。
  • 近千项集群级、组件级监控指标,搭配监控概览页面,提供丰富且清晰易用的监控系统。
  • 灵活支撑云端多机型集群,实现对异构配置集群在扩容、配置下发等场景下的轻松应对,以更优硬件配置应对业务分析挑战。

节约成本

  • 通过 EMR 服务,可以按业务曲线随心伸缩托管 Hadoop 集群,缩减高昂的硬件成本。
  • 丰富的运维工具支持,大幅提升运维工作效率,让工程师更专注于业务本身的商业价值,摆脱重复搭建监控、安全、运维工具等基础设施。
  • 支持温冷数据的对象存储 COS/CHDFS 存储,成本有效降低28% - 50%
  • 结合统一 Hive 元数据库以及统一对象存储,实现跨集群的同数据集分析架构,集群按需创建或销毁,节省集群柔性成本。