业务评估

最近更新时间:2019-05-24 14:22:04

使用腾讯云 EMR 前,请对您的业务需求进行评估:

选择计费模式

EMR 集群提供三种计费模式:

  • 包年包月集群:集群的全部节点计费模式均为包年包月,适用于长期存在且计算量稳定集群。
  • 按量计费集群:集群的全部节点计费模式均为按量计费,适用于短时间存在或周期性存在的集群。
  • 混合计费集群:集群的 Master、Core、Common 节点的计费模式为包年包月,Task 节点存在按量计费的节点,适用于计算量存在波峰的场景,在波峰到达前扩容 Task 节点,波峰后缩容 Task 节点;Router 节点可以存在按量计费的节点,适用于主节点内存、CPU 等资源存在波峰的场景,在波峰到达前扩容 Router 节点,波峰后缩容 Router 节点。

节点类型介绍,请参见 节点类型说明

选择机型规格

EMR 提供了多种云服务器机型:包括 EMR 标准型、EMR 计算型、EMR 高 IO 型、EMR 内存型及 EMR 大数据型(若您需要黑石机型,请 提交工单 联系我们)。

您可以根据自身的业务需要及成本考量,进行机型的选择。

  • 如您对离线计算的时延有一定的要求,我们建议您选择本地盘或大数据机型。
  • 如您需要使用实时数据库 Hbase,我们建议您选择 EMR 高 IO 型,并选择本地 SSD 盘,以实现最高的性能。

节点规格推荐

  • Master 节点:Master 节点主要进行集群调度及任务提交,对于计算能力要求不高,但根据实际情况可能需要较大的内存。通常选择 EMR 标准型4核8GB、4核16GB及更高配置的机型。

  • Core 节点:由于 Core 节点担任了计算及存储的任务,因此对 CPU、内存、磁盘都有了较高的要求。但若您的数据完全在对象存储 COS 上,那么 Core 节点的作用则与 Task 节点的作用基本一致,此时磁盘建议选择本地盘以提高 IO 能力,更快获得计算结果。

  • Task 节点:由于 Task 节点只承担计算任务,被计算的数据来自于 Core 节点或 COS 中,因此磁盘空间不需要过大,但也建议至少选择本地盘500GB的规格,以保证计算效率。

  • Common 节点:目前 Common 节点默认为 EMR 标准型2核4GB、本地盘100GB规格。

  • Router节点:Router 节点主要用于缓解主节点负载和用作任务提交机,因此建议选择较大内存的机型,最好不低于 Master 规格。

网络及安全

为保证集群的网络安全,EMR 集群将会被放置在一个 VPC 中,我们会给该 VPC 增加一个安全组策略。同时,为了保证 Hadoop 软件的 WebUI 能够便捷访问,我们为其中一个 Master 节点开启了外网 IP,采用按照流量计费的模式;Router 节点默认不开通外网 IP,如需开通,可以在 CVM 控制台 自由绑定弹性公网 IP。

注意:

  • Master 节点在创建集群时默认开启外网 IP,但用户可根据情况选择不开启外网 IP。
  • 开启集群 Master 节点公网,主要用于 ssh 登录和组件 WebUI 查看。
  • 主节点 Master 节点会开启外网,按流量付费,带宽上限为5M。创建集群后,您可在控制台对该网络进行调整。