hadoop发行商介绍:Hortonworks

‍‍ Hadoop是开源的,但是企业版本其实是由几家大的公司把持,这个就类似li‍‍nu‍‍x的redhat和suse一样,提供hadoop发型版本的公司主要的有Hortonworks,Cloudera,mapR。‍‍‍‍

‍‍ 今天简单介绍Hortonworks: ‍‍ ‍‍

‍‍ 先了解下Hortonworks的起源,Hortonworks公司,由Yahoo和Benchmark Capital‍‍于2011年7月联合创建,出身于名门Yahoo,Hortonworks拥有着许多Hadoop架 ‍‍构师和源代码贡献者,这些源代码贡献者以前均效力于Yahoo,而且已经为Apache Hadoop项目贡献了超过80%的源代码。‍‍

‍‍ Hortonworks的发版本框架如下:‍‍

‍‍简单介绍几个业界用得比较多的组件:

Apache Hive:Hive 基于 MapReduce 而构建,是一种数据仓库,通过用于存储在 HDFS 中的大型数据集的类 SQL 接口实现便利的数据汇总和临时查询。

‍‍Apache Mahout:Mahout 为 Hadoop 提供可扩展机器学习算法,帮助数据科技实现基于群集、分类和批处理的协作性筛选。‍‍

Apache HBase:一种面向列的 NoSQL 数据存储系统,为用户应用程序提供对于大数据的随机实时读/写访问权限。

Apache Storm:Storm 是一种分布式实时计算系统,用于处理快速、大型的数据流,为 Apache Hadoop® 2.x 带来可靠的实时数据处理功能

Apache Ambari:用于 Apache Hadoop 群集的一种开源安装生命周期管理、营运和监控系统。

Apache Oozie:Oozie Java Web 应用程序用于计划 Apache Hadoop 作业。Oozie 按顺序将多个作业组合至一个逻辑工作单位。‍‍

其他更详细的资料可以访问官网:http://zh.hortonworks.com/hadoop/。

‍‍关于hadoop开源软件,大家要有以下认识:

‍‍1、开源并不等于免费,这些发行版公司通过收取服务费的方式赚钱。‍‍

‍‍‍‍2、开源软件,如果是企业级应用,自身没有足够的研发能力的话,还是要尽量选用发型版本,以获得技术支持‍‍。

‍‍3、‍‍开源软件往‍‍往不能‍‍满足需求,二次集成‍‍,二次开发的能力很重要,但凡有一定技术能力的公司应该立足在用的基础上,应该发展和锻炼自己的技术团队。‍‍

‍‍4、业界还有很多公司也给hadoop贡献源码,但是并不发行企业版本。国内如阿里巴巴,华为等等,这些公司贡献源码,主要是要使自己的代码能合入开源主干,这样修改的代码可以得到开源社区的力量继续发展。如果开发的东西不能合入开源主干的话,一两年之后就落后于开源社区。‍‍

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏EAWorld

移动开发的跨平台实践及在企业中的应用

目录: 一、移动跨平台已成为必然 二、驱动原生是移动跨平台的最佳选择 三、以工程化的形式解决移动跨平台问题 四、普元在企业移动跨平台上的优秀实践 五、总结与展望...

3866
来自专栏LiveEdu在线科技教育平台

10条建议分享:帮助你成为与硅谷工程师一样优秀的程序员

成为一名硅谷的工程师可能是很多中国程序员的梦想。硅谷被公认是目前世界上云集了最多优秀工程师和知名科技公司、创业公司的地方,吸引了全球无数投资者、创业者和工程师的...

1839
来自专栏PPV课数据科学社区

电商网站分析实践(中)

第二部分:从产品放入购物车到订单达成 用户已选择好了产品并放入到购物车中,这时我们的任务就是保证用户购买支付的流程可以尽量流畅,使得尽量多的用户可以到达订单达成...

2294
来自专栏腾讯大讲堂的专栏

张小龙首次全面阐述小程序,定档1月9日上线(内附视频+全文)

各位朋友,大家早上好!我是张小龙。 非常感谢大家一大早来到广州参加微信公开课。去年公开课是我第一次露面,并且在去年差不多这个时候时候宣布了我们的小程序要启动并且...

3894
来自专栏SDNLAB

除了私有云,企业还可以试试虚拟私有云(VPC)

近几年网络届最火的事情莫过于开放网络,Google作为公有云带来的优势正在不断吸引企业的注意力,近几年公有云的采用也在不断增长。但是在公有云的大趋势之内,企业还...

2885
来自专栏java思维导图

目录 第1章 = new 图说小程序(思维导图);

写在前面: 本来想写一本关于小程序的书,后来各种原因又放弃了,目录和第一章都基本写完了。不能埋没了我写的东西,见见光。哈哈。 第1章认识小程序 “微信之父”张小...

3497
来自专栏AI研习社

张小龙:小程序将无处不在(内附张小龙最新演讲全文)

唯物按:张小龙的产品理念在小程序上展现得淋漓尽致。 ? 各位朋友,大家早上好!我是张小龙。 非常感谢大家一大早来到广州参加微信公开课。去年公开课是我第一次露面,...

3548
来自专栏韩伟的专栏

互联网开发模式一:核心问题

互联网开发的核心问题 当我1999年进入互联网行业工作的时候,华为刚刚通过了著名的CMM认证。当时作为一个小程序员,非常向往业界经典的软件开发模式。因为看上去...

3128
来自专栏Rainbond开源「容器云平台」

使用好雨云平台的10大理由!

1404
来自专栏软件定制开发

微信公众号开发:微信服务号和订阅号的区别!

微信开发又称微信公众平台开发、或微信公众号开发,分为微信服务号、微信订阅号、以及微信企业号,其中服务号和订阅号是企业对外进行营销的微信官方平台,而企业号是针对企...

1615

扫描关注云+社区