hadoop不同版本有哪些

一、Hadoop是什么?

首次听到hadoop这次单词,相信很多人跟我当时是一样,不免心中画上一个大大的问号——这是什么东西?Hadoop是什么?百度百科的解释是:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。换句话说就是hadoop是一个能够对大量数据进行分布式处理的软件框架。

Hadoopd之所谓会诞生,主要是由于进入到大数据时代,计算机需要处理的数据量太过庞大。这时就需要将这些庞大数据切割分配到N台计算机进行处理。当大量信息被分配到不同计算机进行处理时,要确保最终得到的结果正确就需要对这些分布处理的信息进行管理,hadoop就是这样的一套解决方案。

通过一个简单通俗的例子说明:假如说你有一个篮子水果,你想知道苹果和梨的数量是多少,那么只要一个一个数就可以知道有多少了。如果你有一个集装箱水果,这时候就需要很多人同时帮你数了,这相当于多进程或多线程。如果你很多个集装箱的水果,这时就需要分布式计算了,也就是Hadoop。

二、hadoop的版本

随着这几年大数据浪潮的兴起,hadoop的各种版本也快速在国内流传和使用。当前主要的hadoop版本有以下几种:

1、Apache hadoop 的2.0版本,它的模块主要有以下几个:

(1)hadoop通用模块,支持其他hadoop模块的通用工具集;

(2)Hadoop分布式文件系统,支持对应数据高吞吐量访问的分布式文件系统;

(3)用于作业调度和集群资源管理的Hadoop YANRN框架;

(4)Hadoop MapReduce,基于YARN的大数据并行处理系统。

2、Cloudera hadoop:Cloudera版本层次更加清晰,且它提供了适用于各种操作系统的Hadoop安装包,可直接使用apt-get或者yum命令进行安装,更加省事。

3、Hortonworks:Hortonworks 的主打产品是Hortonworks Data Platform (HDP),也同样是100%开源的产品,HDP除了常见的项目外还包含了Ambari,一款开源的安装和管理系统。HCatalog,一个元数据管理系统,HCatalog现已集成到Facebook 开源的Hive中。Hortonworks的Stinger开创性地极大地优化了Hive项目。Hortonworks为入门提供了一个非常好的,易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干,这使得Apache Hadoop能够在包括Windows Server和Windows Azure在内的Microsoft Windows平台上本地运行。

三、国产hadoop发行版有哪些

国内做hadoop发行版的像华为大快搜索都有推出自己的发行版。华为在硬件上有天然的有事,华为的FusionInsight Hadoop版本基于Apache Hadoop,构建NameNode、JobTracker、HiveServer的HA功能,进程故障后系统自动Failover,无需人工干预,这个也是对Hadoop的小修补,远不如MapR解决的彻底。

大快搜索推出的DKhaoop, 是目前已知的国产发行版中唯一一个纯原生态的开发,集成了整个HADOOP生态系统的全部组件,并深度优化,重新编译为一个完整的更高性能的大数据通用计算平台,实现了各部件的有机协调。因此DKH相比开源的大数据平台,在计算性能上有了高达5倍(最大)的性能提升。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏耕耘实录

装机不求人,小白装机注意事项

版权声明:本文为耕耘实录原创文章,各大自媒体平台同步更新。欢迎转载,转载请注明出处,谢谢。

994
来自专栏PPV课数据科学社区

【观点】NoSQL市场两分格局是个伪命题, HBase有望后来居上

在NoSQL数据库领域,统治产品无疑当属MongDB和DataStax Enterprise(一个领先的Apache Cassandra发行版)。但近...

3627
来自专栏叁金大数据

Hadoop基础(一)

大数据已经火了很长很长时间了,从最开始是个公司都说自己公司的数据量很大,我们在搞大数据。到现在大数据真的已经非常成熟并且已经在逐渐的影响我们的生产生活。你可能听...

2354
来自专栏SAP最佳业务实践

从SAP最佳业务实践看企业管理(40)-SD-交期

时间,可承诺日期 “什么时候卖”,也很复杂,库存里有没有货,能不能满足交期,如果没货,什么时候可以有货。 订单处理过程中,系统自动进行产品可用量检查,系统根据可...

2996
来自专栏SDNLAB

OpenStack安全问题:缺乏自卫武器

大家可能还记得Alexander Adamov在2015年5月的一篇关于“云端检测针对性的网络攻击”的文章,现在他给我们带来了OpenStack东京安全峰会的一...

2876
来自专栏Golang语言社区

HTML5对APP开发最终用户的三大优势

一、大幅降低使用门槛   为什么流媒体会替代下载视频成为主流?为什么页游会如此火爆?只因用户太“懒”。让用户更方便的满足需求,有时效果好于更多的满足需求。  用...

3776
来自专栏SAP最佳业务实践

SAP最佳业务实践:SD–回扣流程: 免费商品(121)-1业务概览

用途 此业务场景描述了与客户之间的整个标准销售流程(库存销售),包含免费商品。业务流程包括从创建订单到客户帐户的结算的所有步骤。 优点 当输入订单时,系统...

3719
来自专栏域名资讯

中搜云悦组合域名 获2000万融资

中搜云悦获得2000万元Pre-A轮融资,本轮融资将主要用于技术研发和市场推广。

460
来自专栏极乐技术社区

开发实时联网对战的微信小游戏

7866
来自专栏FreeBuf

暗影追踪 | 谁是LeakedSource.com的幕后运营者?

在LeakedSource突然关停之际,安全专家Brian Krebs利用蛛丝马迹的线索,通过层层抽丝剥茧,顺藤摸瓜,最终确定了LeakedSource幕后运营...

3005

扫码关注云+社区

领取腾讯云代金券