Hadoop YARN(Yet Another Resource Negotiator)是Apache Hadoop项目的一部分,它是一个集群资源管理器,用于管理和调度Hadoop集群中的资源。YARN的设计目标是提高集群的利用率,支持多种数据处理模型,包括但不限于MapReduce。
### YARN的主要组件:
1. **ResourceManager (RM)**:负责整个集群的资源管理和调度。它接受来自节点的资源使用情况报告,并根据策略分配资源给各个应用程序。
2. **NodeManager (NM)**:在每个集群节点上运行,负责监控节点的健康状况,执行任务,并报告资源使用情况给ResourceManager。
3. **ApplicationMaster (AM)**:是YARN中的一种特殊类型的应用程序,负责资源请求和任务调度。每个应用程序启动时,都会启动一个ApplicationMaster,它与ResourceManager协商资源,并与NodeManager交互以启动和监控任务。
4. **Client**:与ResourceManager和ApplicationMaster交互,提交应用程序,并可以查询应用程序的状态。
### YARN的工作流程:
1. **应用程序提交**:用户通过Client提交应用程序到ResourceManager。
2. **启动ApplicationMaster**:ResourceManager为应用程序分配第一个容器(资源集合),并启动ApplicationMaster。
3. **资源协商**:ApplicationMaster与ResourceManager协商所需的资源量。
4. **任务调度**:ApplicationMaster根据资源分配情况,向NodeManager请求执行任务。
5. **任务执行**:NodeManager在分配的容器内执行任务,并将任务状态和进度报告给ApplicationMaster。
6. **应用程序完成**:当所有任务执行完毕后,ApplicationMaster向ResourceManager报告应用程序完成,并释放所有资源。
### YARN的特点:
- **多租户**:支持多个用户和应用程序共享集群资源。
- **扩展性**:设计用于大规模集群,可以管理成千上万的节点。
- **灵活性**:支持多种数据处理模型,不仅限于MapReduce。
- **容错性**:能够处理节点故障和网络问题,保证应用程序的连续运行。
YARN是Hadoop生态系统中的关键组件,它的引入使得Hadoop能够支持更广泛的数据处理工作负载,并提高了资源的利用效率。
领取专属 10元无门槛券
私享最新 技术干货