hadoop发行商介绍:Hortonworks

‍‍ Hadoop是开源的,但是企业版本其实是由几家大的公司把持,这个就类似li‍‍nu‍‍x的redhat和suse一样,提供hadoop发型版本的公司主要的有Hortonworks,Cloudera,mapR。‍‍‍‍

‍‍ 今天简单介绍Hortonworks: ‍‍ ‍‍

‍‍ 先了解下Hortonworks的起源,Hortonworks公司,由Yahoo和Benchmark Capital‍‍于2011年7月联合创建,出身于名门Yahoo,Hortonworks拥有着许多Hadoop架 ‍‍构师和源代码贡献者,这些源代码贡献者以前均效力于Yahoo,而且已经为Apache Hadoop项目贡献了超过80%的源代码。‍‍

‍‍ Hortonworks的发版本框架如下:‍‍

‍‍简单介绍几个业界用得比较多的组件:

Apache Hive:Hive 基于 MapReduce 而构建,是一种数据仓库,通过用于存储在 HDFS 中的大型数据集的类 SQL 接口实现便利的数据汇总和临时查询。

‍‍Apache Mahout:Mahout 为 Hadoop 提供可扩展机器学习算法,帮助数据科技实现基于群集、分类和批处理的协作性筛选。‍‍

Apache HBase:一种面向列的 NoSQL 数据存储系统,为用户应用程序提供对于大数据的随机实时读/写访问权限。

Apache Storm:Storm 是一种分布式实时计算系统,用于处理快速、大型的数据流,为 Apache Hadoop® 2.x 带来可靠的实时数据处理功能

Apache Ambari:用于 Apache Hadoop 群集的一种开源安装生命周期管理、营运和监控系统。

Apache Oozie:Oozie Java Web 应用程序用于计划 Apache Hadoop 作业。Oozie 按顺序将多个作业组合至一个逻辑工作单位。‍‍

其他更详细的资料可以访问官网:http://zh.hortonworks.com/hadoop/。

‍‍关于hadoop开源软件,大家要有以下认识:

‍‍1、开源并不等于免费,这些发行版公司通过收取服务费的方式赚钱。‍‍

‍‍‍‍2、开源软件,如果是企业级应用,自身没有足够的研发能力的话,还是要尽量选用发型版本,以获得技术支持‍‍。

‍‍3、‍‍开源软件往‍‍往不能‍‍满足需求,二次集成‍‍,二次开发的能力很重要,但凡有一定技术能力的公司应该立足在用的基础上,应该发展和锻炼自己的技术团队。‍‍

‍‍4、业界还有很多公司也给hadoop贡献源码,但是并不发行企业版本。国内如阿里巴巴,华为等等,这些公司贡献源码,主要是要使自己的代码能合入开源主干,这样修改的代码可以得到开源社区的力量继续发展。如果开发的东西不能合入开源主干的话,一两年之后就落后于开源社区。‍‍

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2014-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

数据质量是什么

数据质量是对数据在特定应用场景下服务商业目的适应性的评估/评价。 ? 数据质量包括这些方面: 准确性 完整性 时效性(更新状态) 关联性 一致性 可靠性 合理表...

2925
来自专栏web前端教室

向你请教下,前端开发的趋势怎么样啊?

我知道,这是因为我没什么耐心,态度不好。在我的印像中,互联网好,前端就好。你学的好,属于你的前端趋势就好。

482
来自专栏大数据

大数据关键技术分析

古代,人们用牛来拉重物,当一头牛拉不动一根圆木时,他们不曾想过培育更大更壮的牛。同样,在面对计算能力不足时,我们也应尝试着结合使用更多的计算机系统。 Hadoo...

1826
来自专栏CSDN技术头条

【BDTC 2015】大数据分析及生态系统分论坛:HBase、Spark、ES、Kylin技术生态

2015年12月10-12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办,...

2105
来自专栏Hadoop实操

Hortonworks联合Jethro扩充其数据仓库解决方案

Hadoop做数仓,不是啥子新鲜概念,各家Hadoop厂商都有自己的方案。Hortonworks这两天突然官方宣布与Jethro一起来玩EDW,Fayson也没...

3038
来自专栏FreeBuf

什么是集中管控式大数据安全架构?

大数据已不再是一个单纯的热门词汇了,随着技术的发展大数据已在企业、政府、金融、医疗、电信等领域得到了广泛的部署和应用,并通过持续不断的发展,大数据也已在各领域产...

1976
来自专栏FreeBuf

电脑、手机都断网了,还会被黑客入侵吗?

无论是电脑、智能手机、或者是其他的可联网设备,只要连了网络,就意味着已经暴露在安全威胁之中了。尤其是最近几年,间谍技术和各类间谍工具发展迅速,导致黑客组织、情报...

1967
来自专栏VRPinea

告别“剁手”,VR或将能帮你省下一大笔购置其他硬件设备的开支

2697
来自专栏阮一峰的网络日志

关于网上论坛

昨天,jQuery的创始人John Resig怒气冲冲地宣布,不再使用Google Groups。 他写了一篇长达2000个单词的文章,详细解释了为什么。请注意...

3378
来自专栏魏艾斯博客www.vpsss.net

Vultr 取消支付宝付款方式

1542

扫码关注云+社区