Hadoop YARN学习之Hadoop框架演进历史简述

Hadoop YARN学习之Hadoop框架演进历史简述(1)

1. Hadoop在其发展的过程中经历了多个阶段:

  • 阶段0:Ad Hoc集群时代
    • 标志着Hadoop的起源,集群以Ad Hoc、单用户方式建立
  • 阶段1:Hadoop on Demand(HOD)
    • 是进化过程中的下一个阶段,以一种通用系统的形式,在商用硬件组成的共享集群上提供和管理私有Hadoop MapReduce和HDFS实例。
  • 阶段2:共享计算集群的黎明
    • 始于大量Hadoop安装转向与共享HDFS实例一起的共享MapReduce集群。
  • 阶段3:YARN的出现
    • 用以解决以往架构的需求和缺陷

2. YARN的特性:

  • 可扩展性
  • 可维护性
  • 多租户
  • 位置感知
  • 高集群使用率
  • 安全和可审计的操作
  • 可靠性和可用性
  • 对编程模型多样的支持
  • 灵活的资源模型
  • 向后兼容

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏我是攻城师

hadoop常见问题解答

3945
来自专栏IT大咖说

大数据平台快速解决方案

摘要 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化...

3319
来自专栏about云

企业该如何构建大数据平台【技术角度】

问题导读 1.作为一个技术人员,你认为该如何搭建大数据平台? 2.构建大数据平台,你认为包括哪些步骤? 3.本文是如何构建大数据平台的? 亲身参与,作...

3409
来自专栏企鹅号快讯

全球100款大数据工具汇总

次文包含前50款 ? 01 Talend Open Studio 是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载...

1837
来自专栏CSDN技术头条

Twitter发布新的大数据实时分析系统Heron

昨日,Twitter发布了新开发的数据实时分析平台Heron,以下为官方文档摘译: 我们每天在Twitter上处理着数十亿的事件。正如你猜测的那样,实时分析这些...

19110
来自专栏大数据挖掘DT机器学习

大数据架构师基础:hadoop家族,Cloudera系列产品介绍

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来。为了能够更好的架构大数据项目,这...

3945
来自专栏华章科技

全球100款大数据工具汇总(前50款)

是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次,...

733
来自专栏华章科技

这5种必知的大数据处理框架技术,你的项目到底应该使用其中的哪几种

大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的...

553
来自专栏灯塔大数据

干货|浅谈什么是Hadoop及如何学习Hadoop

首先hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。 HDFS有高容错性的特点,并且设计用来部署在...

33710
来自专栏大数据文摘

后Hadoop时代的大数据架构

1704

扫码关注云+社区