EMR 开发指南

节点类型说明

最近更新时间:2020-04-22 19:40:51

EMR 定义了5种节点类型,您可以根据集群类型进行选择:

Hadoop 集群

节点类型 说明 HA(高可用)数量 非 HA 数量
主节点(Master) 部署 NameNode、ResourceManager、HMaster 等进程。 2 1
核心节点(Core) 部署 DataNode、NodeManager、RegionServer 等进程。 ≥ 3 ≥ 2
计算节点(Task) 部署 NodeManager、PrestoWork 等进程。 可随时更改 Task 节点数,实现集群弹性伸缩,最小值为0。
通用节点(Common) 部署分布式协调器组件,如 ZooKeeper、JournalNode 等节点。 ≥ 3 0
路由节点(Router) 部署 Hadoop 软件包,可选择部署 Hive、Hue、Spark 等软件和进程。 可随时更改 Router 节点数,最小值为0。
  • Master 节点为管理节点,保证集群的调度正常进行。
  • Core 节点为计算及存储节点,您在 HDFS 中的数据全部存储于 Core 节点中,因此为了保证数据安全,扩容 Core 节点后不允许缩容。
  • Task 节点为纯计算节点,不存储数据,被计算的数据来自 Core 节点及 COS 中,因此 Task 节点往往被作为弹性节点,可随时扩容和缩容。
  • Common 节点为 HA 集群 Master 节点提供数据共享同步以及高可用容错服务。
  • Router 节点用以分担 Master 节点的负载或者作为集群的任务提交机,可以随时扩容和缩容。

ClickHouse 集群

节点类型 说明 HA(高可用)数量 非 HA 数量
核心节点(Core) 部署 ClickHouseServer 进程。 ≥ 2 ≥ 1
通用节点(Common) 部署分布式协调器组件 ZooKeeper 节点。 ≥ 3 0
  • Core 节点为计算及存储节点。
  • Common 节点为 HA 集群 Master 节点提供数据共享同步以及高可用容错服务。

Druid 集群

节点类型 说明 HA(高可用)数量 非 HA 数量
主节点(Master) 部署 NameNode、ResourceManager、Ooverlord、coordinator、ZKFailoverController、JobHistoryServer 等进程。 2 1
核心节点(Core) 部署 DataNode、NodeManager、middlemanager、historical 等进程。 ≥ 3 ≥ 2
计算节点(Task) 部署 NodeManager、middlemanager 等进程。 可随时更改 Task 节点数,实现集群弹性伸缩,最小值为0。
通用节点(Common) 部署分布式协调器组件,如 ZooKeeper、JournalNode 等节点。 ≥ 3 0
路由节点(Router) 部署 Hadoop 软件包,可选择部署 broker 等软件和进程。 可随时更改 Router 节点数,最小值为0。
  • Master 节点为管理节点,保证集群的调度正常进行。
  • Core 节点为计算及存储节点,您在 HDFS 中的数据全部存储于 Core 节点中,因此为了保证数据安全,扩容 Core 节点后不允许缩容。
  • Task 节点为纯计算节点,不存储数据,被计算的数据来自 Core 节点及 COS 中,因此 Task 节点往往被作为弹性节点,可随时扩容和缩容。
  • Common 节点为 HA 集群 Master 节点提供数据共享同步以及高可用容错服务。
  • Router 节点用以分担 Master 节点的负载或者作为集群的任务提交机,可以随时扩容和缩容。
目录