首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

弹性MapReduce

弹性 MapReduce(EMR)结合云技术和 Hadoop、Hive、Spark、Hbase、Presto、Storm 等社区开源技术,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可以在数分钟内创建安全可靠的专属 Hadoop 集群,以分析位于集群内数据节点或对象存储 COS 上的 PB 级海量数据。

功能

快速部署

通过控制台点选的方式,只需三步即可获得独立专属的大数据集群。弹性 MapReduce 提供了多种大数据开源组件,您可以在创建时自由组合勾选,包括但不限于 Hive、Spark、Hbase、Presto、Flink、Storm 等,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您也可以通过 API 的方式,保留创建参数,即可反复的创建并销毁集群。

弹性 MapReduce 支持多种机型部署集群,您可以根据不同业务场景来配置集群的 CPU、内存、存储的类型和数量。

弹性

通过控制台页面或 API 的方式,轻松的操作集群规模,只需要数分钟,即可将新的节点添加进集群中,以适应业务的快速变化。新扩容的节点将对集群组件进行自动部署,组件的配置将自动同步。弹性 MapReduce 提供了只用于计算不存储数据的 Task 节点类型,利用该节点对集群的规模进行快速缩容,而无需担心数据丢失的风险隐患。

全新的自动扩缩容功能即将上线,可以大幅降低您的运维成本,集群将根据监控数据进行自动的扩容与缩容,时刻保证集群资源利用率最大化。

计算存储分离

结合腾讯云提供的高持久的对象存储 COS 服务,弹性 MapReduce 让您的大数据存储成本降低高达85%。开启对象存储访问后,弹性 MapReduce 将自动适配 COS 的文件系统,您可以像操作 HDFS 一样,操作 COS 中的数据,而无需花费大量的精力来适应这种转变。由于计算存储的分离实现了数据与集群的生命周期解耦,您可以在需要计算任务时再创建弹性 MapReduce 集群,在计算完成时完全销毁集群,在此期间只需要按照使用时长付费。

集群管控

弹性 MapReduce 已对开源 Hadoop 及组件进行了针对性优化,这将减少您用于监控运维集群的时间。同时我们提供了丰富的集群管控工具,您可以在弹性 MapReduce 的控制台可视化地进行监控的查看、告警的设置、组件进程的重启或维护、参数配置修改等操作。您也可以使用我们提供的高级管理工具,自由度更高的管理您的集群。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190809A0GY6A00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券