永洪MPP集市中各节点的详解

前言

在永洪数据集市分为本地集市（单机版数据集市）和MPP集市（多机版数据集市）。如果用户数据量在GB级别，并且单机服务器配置还可以，采用本地集市可以达到数据加速的功能。如果用户数据在TB级别，就可以采用MPP云结构来支撑秒级的数据分析响应速度。

其中包含以下节点：

• 客户端节点安装版（Client Node)
• 命名节点安装版（Naming Node）
• Map节点安装版（Map Node）
• Reduce 节点安装版（Reduce Node）

C节点

即当前主机作为客户端参与云计算，客户端可向参与云计算的主机发起请求，Map Node将开展分布式计算，Reduce Node对计算结果进行汇总，最终的计算结果会返回给Client Node。

N节点

即当前主机作为命名节点参与云计算，N节点将收集参与分布式云计算的主机信息。M节点以及R节点将向N节点发送心跳报告，N节点统计某个具体的物理文件存储在哪些M节点上。为了防止N节点宕机引起单点故障，Yonghong BI采用Naming双活机制 , 可以安装Naming Node的备份节点。N节点宕机后，First Backup Node被选举为新的N节点，并通知所有节点N即诶单已更换，同时对配置文件进行修改。

要注意的是： MPP 集市中，Naming 节点只有一个，会存在单点故障。Yonghong 通过 ZooKeeper 的领导者选举，选举新的 Naming 节点来实现 Naming 节点的双活。ZooKeeper 有 Server 和 Client, 在这里 Client指的是 MPP 集市中的节点。通过在 MPP 集市系统中启用多个备份 Naming 节点，ZooKeeper 选举出一个 First 备份 Naming 节点，ZooKeeper Client 连接到 Server, 通过心跳保持连接，从而实时监控 Naming 节点的状态并实现 Naming 节点和 First 备份 Naming 节点的元数据文件同步。当 Naming节点宕机后，备份 Naming 节点会成为 Naming 节点来保证集市系统的正常工作。

M节点

即当前主机作为映射节点参与云计算，该节点存储着部分map数据的元数据和物理数据，并执行MAP任务。

R节点

Yonghong BI 云化简节点安装，即当前主机作为化简节点参与云计算，该节点执行化简任务。