Hadoop YARN学习之Hadoop框架演进历史简述

Hadoop YARN学习之Hadoop框架演进历史简述(1)

1. Hadoop在其发展的过程中经历了多个阶段:

  • 阶段0:Ad Hoc集群时代
    • 标志着Hadoop的起源,集群以Ad Hoc、单用户方式建立
  • 阶段1:Hadoop on Demand(HOD)
    • 是进化过程中的下一个阶段,以一种通用系统的形式,在商用硬件组成的共享集群上提供和管理私有Hadoop MapReduce和HDFS实例。
  • 阶段2:共享计算集群的黎明
    • 始于大量Hadoop安装转向与共享HDFS实例一起的共享MapReduce集群。
  • 阶段3:YARN的出现
    • 用以解决以往架构的需求和缺陷

2. YARN的特性:

  • 可扩展性
  • 可维护性
  • 多租户
  • 位置感知
  • 高集群使用率
  • 安全和可审计的操作
  • 可靠性和可用性
  • 对编程模型多样的支持
  • 灵活的资源模型
  • 向后兼容

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏无原型不设计

关于流程图设计,你需要Get的几点必备知识

流程图(Flow Chart)这个概念对很多人来说并不陌生,但如果让你定义或者举例说明什么是产品流程图,恐怕还是有难度的。或许诸如“用户体验”、“交互设计”、...

2815
来自专栏腾讯技术工程官方号的专栏

2017 Openstack Days China | 大规模云计算环境下的运维实践

企业 IT 部潘晓东专注于云计算技术,在虚拟化、云计算、服务运维领域有超过十年的工作经验。本文是将其在 OpenStack Days China 的分享进行整理...

3744
来自专栏zzzz

学hadoop需要什么基础

最近一段时间一直在接触关于hadoop方面的内容,从刚接触时的一片空白,到现在也能够说清楚一些问题。这中间到底经历过什么只怕也就是只有经过的人才会体会到吧。前几...

771
来自专栏IT技术精选文摘

京东京麦商家开放平台的消息推送架构演进之路

731
来自专栏司想君

接受“不完美”:分布式事务学习总结

作为一个前端专业的人来说,对于事务的理解,一直停留在“要么都成功,要么都不成功”的小白阶段。既然自己将2018年定义为”深入理解“的一年,那么就从深入理解事务开...

2985
来自专栏月牙寂

k8s源码分析----apiserver之APIGroupVersion

第一时间获取文章,可以关注本人公众号 月牙寂道长 yueyajidaozhang

2944
来自专栏CDA数据分析师

大数据不同的瑞士军刀:对比 Spark 和 MapReduce

翻译 | 古月水语 来源 | 伯乐在线 Apache 基金会下的 Spark 再次引爆了大数据的话题。带着比 Hadoop MapReduce 速度要快 100...

18910
来自专栏腾讯研究院的专栏

常见的几种数据层容灾架构比较分享

陈守志 腾讯公司平台运营开发组 一、关于容灾   关于容灾主题,这里罗列对比了几种常见的容灾案例: ?   相对接入层、应用层容灾而言,数据层的容灾相对...

4155
来自专栏坚毅的PHP

HBase 异步查询导致的死锁和zookeeper通信中断问题追踪与总结[非技术]

机房T和机房Y共十台前端机,Y机房请求量是T的两倍,主要用于数据查询,开始问题是Y机房tomcat 相继僵死 1) tomcat僵死处理步骤 a 检查代码,发现...

3555
来自专栏杨建荣的学习笔记

数据访问层的优化思路(r10笔记第80天)

对于数据访问层的优化,我简单总结了一下,其实里面有很多的点子现在想起来有一种灵光一现的感觉,但是真真切切的,里面有不少是之前公司已经做到了的,所以一个做产品的公...

2877

扫码关注云+社区