EMR 开发指南

产品功能

最近更新时间:2021-07-02 10:59:34

弹性 MapReduce 结合云技术和 Hadoop、Hive、Spark、Storm 等社区开源技术,为您提供安全、低成本、高可靠、可弹性伸缩的云端 Hadoop 服务。其主要功能体现在以下方面:

弹性伸缩

分钟级集群创建
通过控制台数分钟就可创建一个安全、稳定的云端托管 Hadoop 集群。

分钟级集群扩缩容
仅需数分钟即可对现有 EMR 集群进行平滑扩缩容,以适应互联网业务需求的快速变化。

API 支持
支持通过 API 方式便捷的在程序中创建、扩/缩容、销毁 EMR 集群。

存储计算分离

集群内存储计算分离
集群内支持按照存储节点、计算节点的模式来规划云端 Hadoop 集群,以支持客户对计算节点的随意伸缩来降低硬件成本。

基于 COS 的存储计算分离
支持把待分析海量数据存放于 COS,在通过 COS 规模化效应降低存储成本的同时,您还可以创建不同 EMR 版本分析同一份数据,这将为您带来极度的架构灵活性。

运维支撑

监控与多渠道告警
提供完善的监控运维体系,对包含 Spark、Hive、Presto 等在内的组件异常和任务异常的秒级感知,以保障大数据集群的稳健运行。

技术服务支持
在提供完善技术文档之外,还支持包含邮件、QQ、微信等渠道在内的技术服务体系,为客户提供完备的技术支持。

安全

EMR 创建的 CVM 子机同时会创建安全组来限制外网访问。各组件 Web UI 均通过其中一台有外网 IP 的子机进行访问,并且通过用户名和密码进行验证,有外网 IP 的子机安全组只开放 SSH 端口和代理访问端口。

注意:

CVM 子机如果更换项目会导致 CVM 安全组丢失。