Hadoop架构——云计算的具体实现

Hadoop是IT行业一个新的热点,是云计算的一个具体实现、Hadoop本身具有很高的技术含量,是IT工程师学习的首选!下面我们来详细讲讲什么是Hadoop。 Hadoop是IT行业一个新的热点,是云计算的一个具体实现、Hadoop本身具有很高的技术含量,是IT工程师学习的首选!下面我们来详细讲讲什么是Hadoop。 完整hadoop讲解视频教程下载地址: 1、http://kuai.xunlei.com/d/CLCBYHQKJQNT 2、http://kuai.xunlei.com/d/CSMFERCHAGEE Hadoop是什么: Hadoop = The Hadoop projects Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie Hadoop要解决的两个问题: 1、海量数据的存储 -- HDFS 2、海量数据的分析 -- MapReduce Hadoop发展的历史: 始于2002年的apache项目Nutch 2003年Google发表了关于GFS的论文 2004年Nutch的开发者开发了NDFS 2004年Google发表了关于MapReduce的论文 2005年MapR被引入了NDFS 2006年改名为Hadoop,NDFS的创始人加入Yahoo,Yahoo成立了一个专门的小组发展Hadoop HDFS设计目标: 1、Very large files 2、Streaming data access write-once, read-many-times 3、Commodity hardware HDFS架构: 在Hadoop中,一个文件被划分成大小固定的多个文件块,分布的存储在集群中的节点中

Block:一个文件分块,默认64M NameNode:保存整个文件系统的目录信息,文件信息以及文件相应的分块信息。 DataNode:用于存储Blocks HDFS的HA策略:NameNode一旦宕机,整个文件系统将无法工作。 如果NameNode中的数据丢失,整个文件系统也就丢失了。 2.x开始,HDFS支持NameNode的active-standy模式。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据

Hadoop和Spark的异同

解决问题的层面不一样 Hadoop实质上是解决大数据大到无法在一台计算机上进行存储、无法在要求的时间内进行处理的问题,是一个分布式数据基础设施。 HDFS,它将...

24680
来自专栏人工智能LeadAI

想玩转工业界机器学习?先学Spark吧

为什么机器学习者需要学习spark? 关于大数据,有这样段话: “Big data is like teenage sex,everyone talks abo...

44390
来自专栏about云

Spark1.0.0 学习路线指导

问题导读 1.什么是spark? 2.spark编程模型是什么? 3.spark运维需要具有什么知识? 4.spark如何监控? 5.如何搭建开发spark? ...

32170
来自专栏about云

适合小白入门Spark的全面教程

1.实时分析 在我们开始之前,让我们来看看美国社交媒体比较有名的企业每分钟产生的数据量。

16420
来自专栏AI星球

想玩转工业界机器学习?先学Spark吧

作为一名学生,如何还没听说过Spark这套计算框架,那么我觉得还是留在学术界的机器学习混吧,工业界现在也许还不适合你。

14520
来自专栏美图数据技术团队

Hello Spark! | Spark,从入门到精通

欢迎阅读美图数据技术团队的「Spark,从入门到精通」系列文章,本系列文章将由浅入深为大家介绍 Spark,从框架入门到底层架构的实现,相信总有一种姿势适合你,...

34620
来自专栏我是攻城师

大数据相关开源系统简介汇总

37770
来自专栏斑斓

Spark发布1.3.0版本

3月13日,Spark 1.3.0版本与我们如约而至。这是Spark 1.X发布计划中的第四次发布,距离1.2版本发布约三个月时间。据Spark官方网站报道,此...

34360
来自专栏IT派

大数据之Hadoop vs. Spark,如何取舍?

Hadoop在大数据领域享有多年垄断权,随着该领域开始出现新生力量,其统治地位正在逐渐下滑。年初的调查中,Hadoop被列为2018年大数据领域的“渐冻”趋势之...

40380
来自专栏PPV课数据科学社区

Spark Streaming场景应用- Spark Streaming计算模型及监控

摘要 Spark Streaming是一套优秀的实时计算框架。其良好的可扩展性、高吞吐量以及容错机制能够满足我们很多的场景应用。本篇结合我们的应用场景,介结我们...

40560

扫码关注云+社区

领取腾讯云代金券