专栏首页大数据学习交流大数据和Hadoop什么关系?为什么大数据要学习Hadoop?
原创

大数据和Hadoop什么关系?为什么大数据要学习Hadoop?

大数据是一系列技术的统称,经过多年的发展,大数据已经形成了从数据采集、整理、传输、存储、安全、分析、呈现和应用等一系列环节,这些环节涉及到诸多大数据工作岗位,这些工作岗位与物联网、云计算也都有密切的联系。

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是用Java语言开发的一个开源分布式计算平台,适合大数据的分布式存储和计算平台。

广义上讲,大数据是时代发展和技术进步的产物。Hadoop只是一种处理大数据的技术手段。

Hadoop是目前被广泛使用的大数据平台,本身就是大数据平台研发人员的工作成果,Hadoop是目前比较常见的大数据支撑性平台,Hadoop平台提供了分布式存储(HDFS)、分布式计算(MapReduce)、任务调度(YARN)、对象存储(Ozone)和组件支撑服务(Common)。

想深入了解,想学习的同学欢迎加入大数据学习qq群:529867072,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系

随着Hadoop的不断发展,基于Hadoop的大数据生态越发完善,目前包括Ambari、Avro、Cassandra、Chukwa、HBase、Hive、Mahout、Pig、Spark、Tez、Zookeeper等组件陆续被开发出来,这些组件极大的丰富了Hadoop自身的应用。加米谷大数据培训,6月大数据开发零基础班、提高班,成都小班面授,预报名中!随着组件的增多,Hadoop自身也越来越重,因此目前很多大数据工程师更愿意使用Spark,因为Spark更轻,基于内存速度也更快。

可以这样简单地理解:

1、大数据是一个高层次的概念(相当于互联网的概念),而Hadoop只是承载大数据的一个平台框架一种实现方式而已(类似于各种物理电脑网络)。

2、大数据包含的内涵广泛得多,而Hadoop只是其中一部分实现。

我们平常所说的大数据包含:采集、传输、存储、分析、可视化等等;而Hadoop更多是用于提取、存储、分析的一个系统平台而已。

3、实现大数据平台的框架除了Hadoop之外,还有其他更多的平台。

由于Hadoop是一个开源的大数据系统平台,所以你们听得最多。除了Hadoop平台外,还有其他系统平台。

所以,大数据不等于Hadoop,大数据与Hadoop也不是包含关系。

大数据开发人员可以通过Hadoop提供的系统级服务支持从而帮助企业完成大数据改造,对于开发人员来说,只需要关注于具体的服务实现就可以了,系统级功能已经由Hadoop提供了实现。所以,Hadoop是大数据开发人员的重要基础

学习大数据肯定需要学习Hadoop技术,Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。

由于Hadoop对硬件的要求并不高,目前被行业使用多年,有健全的生态和大量的应用案例,非常适合初学者(有Java基础的人)学习。大数据学习交流群,群门牌号是:251—956---502,欢迎一起学习大数据的伙伴,加群互相学习交流。

目前很多商用大数据平台也是基于Hadoop构建的,所以Hadoop是大数据开发的一个重要内容。

Hadoop学习之后,还得学习Spark,它是一种与 Hadoop 相似的开源集群计算环境,拥有Hadoop MapReduce所具有的优点,Spark是MapReduce的替代方案,而且兼容HDFS、Hive,可融入Hadoop的生态系统,以弥补MapReduce的不足。这是大数据技术学习的两大重点。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 零基础学习大数据Hadoop需要什么准备?Hadoop如何发展起来的?

    1、2001年,Nutch问世。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性...

    一起学习大数据
  • 大数据入门学习之Hadoop技术优缺点

    (2)Hadoop通过可用的计算机集群分配数据,完成存储和计算任务,这些集群可以方便地扩展到数以千计的节点中,具有高扩展性。

    一起学习大数据
  • 零基础大数据学习框架

    大数据开发最核心的课程就是Hadoop框架,几乎可以说Hadoop就是大数据开发。这个框架就类似于Java应用开发的SSH/SSM框架,都是Apache基金会或...

    一起学习大数据
  • 你应该了解的十个Hadoop的应用场景

    在线旅游:目前全球范围内 80%的在线旅游网站都是在使用 Cloudera 公司提供的 Hadoop发行版,其中 SearchBI 网站曾经报道过的 Exped...

    加米谷大数据
  • Apache Hadoop 3.0新版本介绍及未来发展方向

    ? 过去十年,Apache Hadoop从无到有,从理论概念演变到如今支撑起若干全球最大的生产集群。接下来的十年,Hadoop将继续壮大,并发展支撑新一轮的更...

    小莹莹
  • Hadoop已死?Hadoop万岁!

    各种博客文章、杂志投稿中,“Hadoop已死”的说法死灰复燃,且又开始甚嚣尘上。近年来,Cloudera不再满足于Hadoop开源平台的身份,转而以企业数据公司...

    昱良
  • Hadoop,凉了?那还需要它吗?

    近日,Hadoop 领域发生几件不太美好的事情,先是 MapR 宣布如果无法获得新的投资,就必须要裁员百余人,并关闭硅谷总部,再是 Cloudera 股价暴跌 ...

    大数据技术架构
  • [译]一图以蔽之:Hadoop在大数据企业应用中的崛起

    大数据文摘
  • 你必须知道的9大Hadoop公司

    大数据文摘
  • 15种最佳方式帮你顺利掌握Hadoop技术

    在探讨今天的主题——如何利用各类资源学习Hadoop知识——之前,让我们首先搞清楚另一个问题:大数据Hadoop到底是什么?简单来 讲,Hadoop是一套用于...

    小小科

扫码关注云+社区

领取腾讯云代金券