展开

关键词

你必须知道的9大Hadoop

Forrester会告诉你,有许多地方可以帮助你开始应用Hadoop,他们已经对9个提供Hadoop进行评估,找到每一家的优劣势。 备注:以下列表基于Forrester的市场波动报告,并未囊括所有的Hadoop和大数据管理平台。列表顺序按首字母排列。 AWS所没有的是用户本地部署的Hadoop分布式系统,这恰恰是后面这两家的专长。 MapR TechnologiesMapR Technologies可能是最好的Hadoop分布式系统,但很多人都没有听说过这家。 Teradata像Teradata这样的抑或将Hadoop视为威胁或者视为机会,专注在数据管理,特别是SQL和关系型数据库方面。

2.2K60

2021年大数据Hadoop(四):Hadoop发行版

----Hadoop发行版Hadoop发行版本分为开源社区版和商业版。社区版是指由Apache软件基金会维护的版本,是官方维护的版本体系。 商业版Hadoop是指由第三方商业在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本,比较著名的有cloudera的CDH、mapR、hortonWorks等。 HDF免费开源,并且提供一整套的web管理界面,供我们可以通过web界面管理我们的集群状态,web管理界面软件HDF网址(http:ambari.apache.org),2018年,大数据领域的两大巨头 Cloudera和Hortonworks宣布平等合并,Cloudera以股票方式收购Hortonworks,Cloudera股东最终获得合并60%的股份软件收费版本Cloudera: CDH https :www.cloudera.comcloudera主要是美国一家大数据在apache开源hadoop的版本上,通过自己内部的各种补丁,实现版本之间的稳定运行,大数据生态圈的各个版本的软件都提供了对应的版本

10730
  • 广告
    关闭

    50+款云产品免费体验

    提供包括云服务器,云数据库在内的50+款云计算产品。打造一站式的云产品试用服务,助力开发者和企业零门槛上云。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    一线hadoop实际案例及其应用

    、百度、Facebook、eBay和海量数据排序为例进行说明,主要介绍了商业如何使用Hadoop来增强自己的服务,以及它们在使用Hadoop中遇到的各种问题和改进的方法。 Hadoop是开源的系统,任何可以根据自己的业务需要对Hadoop进行修改或改进,同时也为Hadoop的改进贡献了自己的力量。 随着Hadoop的不断改进,其强大的分布式功能被越来越多的人熟知,使用Hadoop队伍也在不断壮大中,具体可以登录http:wiki.apache.orghadoopPoweredBy查看。 Hadoop在eBay的应用内容是根据eBay研究人员的技术博客整理而成的,其中参考了eBay分析平台开发部Anil Madan介绍的Hadoop在eBay的使用情况,大家如果想要了解Hadoop在eBay 百度使用Hadoop平台的情况则是根据近几届Hadoop中国云计算大会上百度研究人员的报告整理而成,大家如果想了解更详细的信息或Hadoop中国云计算大会的相关信息可登录Hadoop in China网站

    64260

    Cloudera将于4月底登陆纽交所,基于Hadoop的商业前景何在?

    大数据文摘作品,转载要求见文末编译 | 姜范波,Yawei“当地时间2017年3月31日,Cloudera,这家建立在开源项目Hadoop之上的商业终于布了其备受期待的IPO备案,在布的文件中, ”虽然名字里有一个“云”,Cloudera并不是一个真正的云。它是一个建立在开放源代码Hadoop项目之上的商业产品,hadoop吉祥物是一只可爱的大象。 基于Hadoop打包产品商业 Cloudera与Hortonworks的区别 ▼尽管Hadoop可能是处理大数据的有力方式且它可以开源使用,但是用起来并不简单。 这正是Cloudera和2014年上市的Hortonworks等的机会所在。这些,以及其他如MapR,试图把Hadoop打包起来,方便大型机构使用。 但几个共享市场,并不意味着一定会共享命运;同为Hadoop供应商,也不意味着完全可类比。 IDC分析师卡尔·奥洛夫森(Carl Olofson)表示,这两家之间存在着一些根本的区别。

    32950

    大数据hadoop是什么?

    1大数据hadoop--背景大数据Hadoop是由 Apache Software Foundation 于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。 但是 Hadoop 在设计时就考虑到这些问题,采用并行执行机制,因此能大大提高效率。?dvdf2大数据hadoop--发展目前有很多开始提供基于Hadoop的商业软件、支持、服务以及培训。 Cloudera是一家美国的企业软件,该在2008年开始提供基于Hadoop的软件和服务。 GoGrid是一家云计算基础设施,在2012年,该与Cloudera合作加速了企业采纳基于Hadoop应用的步伐。 Dataguise是一家数据安全,同样在2012年该推出了一款针对Hadoop的数据保护和风险评估。 ?

    27810

    开源Hadoop发展迅猛 用户与厂商各取所需

    多年来,开源初创Cloudera和Hortonworks在Hadoop市场一直占有绝对地位,诸如Oracle、微软以及其他一些也想在这个市场占有一席之地,但更多是通过与专业的Hadoop初创建立伙伴关系间接地参与市场争夺 MongoDB副总裁Matt Asay表示:不要只注重供应商Hadoop服务的当前状态,Forrester暗示未来真正的赢家应该是IBM、AWS和Pivotal这样的大型技术,而Hadoop初创对 我不期盼所有都为社区贡献一个项目,但那些不作出贡献的在Hadoop领域将没有发言权。 尽管IBM、Amazon和其他将来会构建基于Hadoop的优质服务,但难以提供很好的客户支持,因为总是被迫成为Hadoop追随者,而不是领导者。? IBM、AWS等厂商尽管通过Hadoop丰富其产品会从市场获利,但对于那些想要从Hadoop本身获得价值的,可能更容易从对Hadoop发展贡献较大的企业(Cloudera和Hortonworks)获得好处

    39170

    独家编译 | 硅谷大数据Cloudera秘密提交IPO申请 拟募集41亿美元

    作者 | 大文彭博消息,硅谷大数据Cloudera正在准备进行IPO,首次开发售拟筹约41亿美元。 据报道,其IPO申报工作于早些时候被秘密提交给了美国证券交易委员会,根据美国《创业企业扶助法》(JOBS),年收入低于10亿美元的属于“新兴成长型”,递交的招股说明书不必对外开。 Cloudera总部位于加利福尼亚硅谷帕罗奥图市,是一家向企业客户提供基于Apache Hadoop的软件、支持、服务以及培训的大数据创业。 在Hadoop生态系统中,Cloudera是规模最大、知名度最高的,提供专业的服务,使企业更容易使用和管理Hadoop的产品,并挖掘其价值。 Cloudera将Hadoop相关技术做了整理、归纳、商业化,同时提供企业版本, 是最早将Hadoop商业化的,目前已经拥有大量的企业级客户。

    41560

    英特尔放弃大数据处理软件Hadoop

    3月28日消息,据国外媒体报道,科技博客网站VentureBeat获悉,英特尔将宣布停止发行自家开放源代码大数据处理软件Hadoop版本,转而支持快速增长的大数据Cloudera的Hadoop版本。 Cloudera上周刚刚布一轮金额达1.6亿美元(约合人民币9.834亿元)的融资。一周后,Hadoop 开发Hortonworks布了一轮金额达1亿美元(约合人民币6.147亿元)的融资。 去年,另外一家Hadoop开发Pivotal获得通用电气1.05亿美元(约合人民币6.454亿元)融资。 企业对Hadoop的可伸缩性和开放源代码特性越来越有兴趣,对Hadoop提供支持的小型分析软件厂商也日趋受到投资者青睐。 上述知情人士称,数月来英特尔一直试图与一家Hadoop达成类似交易,在与Cloudera合作前,英特尔与至少另外一家Hadoop进行了接洽。

    33340

    从火种到核心 浅析Hadoop大数据用户的演变

    Hadoop做到了,然后才有了今天。 更重要的是这些都有强大的工程背景,拥有比一般企业更多的开发人员。他们的技术专家能在内使用Hadoop,开发搭建于Hadoop之上的解决方案。 现在,其中的一些工程师已经转到其他项目或跳到其他,但他们中的绝大多数仍然活跃在Hadoop圈子里。特别值得一提的是Yahoo!,它在最开始的时候推动了Hadoop的发展。 第二代——追随者 在早期使用Hadoop里,Hadoop成功对一批新用户留下深刻的印象,他们通常被现在蓬勃发展的Web 3.0和社交网络的雇佣。 现在,这种缺乏Hadoop组件而引发的模块化开发方式不仅发生在年轻的创业者身上,也出现在其他,这些不愿意介入Hadoop核心开发者社区里日益增长的政治化问题。 对第一代而言Hadoop的运行已经成为常态,他们修改代码库的版本以保证自己的Hadoop正常运行。

    34550

    从火种到核心,浅析Hadoop大数据用户的演变

    Hadoop做到了,然后才有了今天。更重要的是这些都有强大的工程背景,拥有比一般企业更多的开发人员。他们的技术专家能在内使用Hadoop,开发搭建于Hadoop之上的解决方案。 现在,其中的一些工程师已经转到其他项目或跳到其他,但他们中的绝大多数仍然活跃在Hadoop圈子里。特别值得一提的是Yahoo!,它在最开始的时候推动了Hadoop的发展。 第二代——追随者在早期使用Hadoop里,Hadoop成功对一批新用户留下深刻的印象,他们通常被现在蓬勃发展的Web 3.0和社交网络的雇佣。 现在,这种缺乏Hadoop组件而引发的模块化开发方式不仅发生在年轻的创业者身上,也出现在其他,这些不愿意介入Hadoop核心开发者社区里日益增长的政治化问题。 对第一代而言Hadoop的运行已经成为常态,他们修改代码库的版本以保证自己的Hadoop正常运行。

    39560

    荐读|大数据架构面临技术集成的巨大障碍

    UberHadoop团队高级工程师Vinoth Chandar说,该的现有系统跟不上业务运营带来的快速增长的数据量。 Gartner分析师Merv Adrian说,整合障碍还在加剧,Hadoop分发商与大数据技术有关的数字还在稳步攀升,这代表了部署HadoopHadoop技术支持的需求量趋势。 对于许多希望利用Hadoop及其同生技术的用户组织,“这真像是狂野西部时期的泡沫”。Cutting现在是Hadoop供应商Cloudera的首席架构师。 他说:“Hadoop很快就不会令人生畏,人们会习惯使用它的。”或许是这样吧,不过雅虎(据声称是最大的Hadoop用户群)的IT经理们表示,他们并没有完全消除压力。 目前,该(雅虎)的大数据环境有40个集群,混杂了HBase、Spark、Storm实时处理引擎和其它Hadoop相关技术。

    43050

    开源的对决,MapR将Apache Drill引入企业应用

    时至今日,在高度竞争的Hadoop领域,开源已成为众多的利器,他们纷纷通过贡献更多的代码来保护自己,也通过开源来攻击其它的开发性。 以下为译文近日,MapR,Apache Drill项目的创建者,已经将该技术的初期版本整合到该的大数据平台。该称这个版本的Drill为0.5,以“开发者预览版”的方式展示这个SQL查询引擎。 在SQL on Hadoop领域,各个可谓是八仙过海各显神通——Cloudera的Impala、Hortonworks的Hive迭代,以及各种各样的初创和开源项目,包括当下炙手可热的Spark社区 MapR会用实际行动证实这一点,比如这周二,就开源了大量Hadoop平台的资源管理功能,并且提交了MapR的磁盘IO分配方法,以及作业调度机制到Apache。 同时,在高度竞争的Hadoop领域,开源更成为捍卫自己的盾牌,以及在开放性上攻击其它的利剑。

    56070

    Java开发人员学习Hadoop的5大理由

    如今,正在处理大数据。从千兆字节到PB大小,关系数据库非常难以存储。此外,越来越多地将Java开发角色外包给已经拥有大数据专业人员的其他方。 Hadoop是引领行业的基于Java的未来框架数据分析是更新的营销策略。而且,Hadoop将处理所有的大数据。一般而言,几乎所有大小不等的都在几乎所有业务领域中广泛使用Hadoop。 对于而言,这是具有成本效益的资源利用,因为他们无需培训新员工的Java来学习项目的Hadoop。由于,Hadoop的可用人力资源较少。结果,Java开发人员在Hadoop作业领域有很大的机会。 因此,作为Java开发人员,如果您尚未加入梦想中的,那么学习Hadoop无疑会帮助您找到机会,成为您的最爱之一。 此外,全球720强中有超过64%的准备投资大数据技术。

    28010

    Cloudera旨在以Spark取代MapReduce作为默认Hadoop框架

    Apache Spark内存计算框架更接近于Apache Hadoop,Cloudera今天宣布它正努力地使Spark取代默认的Hadoop数据处理框架。 “虽然IT将会继续添加其他数据处理框架叠加在Hadoop集群顶部,One Platinum Initiativ是一个以Spark取代MapReduce作为默认数据处理引擎的基本案。” 出于这个原因,许多人愿意采用任意数量的SQL引擎作为查询Hadoop数据的工具。谷歌因为没有达到预期的目标,开宣布停止使用MapReducebecause,取而代之的是自己Dataflow框架。 launchedDataflow今年早些时候一个测试版的云服务。该今年早些时候推出了Dataflow作为测试云服务。 例如,该与Inte和Oracle有着长期的合作关系。在这个关头,其余的IT产业似乎更致力于Cloudera的竞争对手Hortonworks提出的Hadoop分配。

    30290

    Hadoop,凉了?那还需要它吗?

    Cloudera是一家美国的企业软件,该在2008年开始提供基于Hadoop的软件和服务。 GoGrid是一家云计算基础设施,在2012年,该与Cloudera合作加速了企业采纳基于Hadoop应用的步伐。 Dataguise是一家数据安全,同样在2012年该推出了一款针对Hadoop的数据保护和风险评估的软件。名字起源Hadoop这个名字不是一个缩写,而是一个虚构的名字。 在一篇外媒的分析文章中,提出了这样一个观点:在受欢迎指数、收益等方面,大数据其他开源供应商(如 Elastic 和 MongoDB )和 Hadoop 三大商业呈现出了此消彼长的态势,之前没有人认为 的目标是如同有云提供商做到的一样,让用户从 Hadoop 和(F)OSS(见上文)中受益。

    1.1K20

    一图以蔽之:Hadoop在大数据企业应用中的崛起

    这个对Hadoop的分析,也许能帮助的决策领导者更好地了解该技术平台。?1什么是Hadoop? 小贴士超过170家正在致力于发展Hadoop,当前Hadoop框架的估值为20亿美元。 2企业中的Hadoop使用Hadoop管理数据,2014年,每4家企业就有1家;2012年,每10家才有1家。前5大应用行业:计算机制造业、商用服务、金融、零售和批发、教育和政府部门。 使用Hadoop的5大原因:低成本,计算性能,规模可伸缩性,存储灵活性,数据保护。超过60%的表明,Hadoop补充或取代了他们现有的数据环境。? 高德纳咨询(Gartner)表示: “对Apache Hadoop使用对增长,正在促进着结构化数据的增长,引领企业去理解如何再利用数据,赋予数据新的用途,并从数据中获得至关重要的深入理解 。”?

    33770

    hadoop发行商介绍:Hortonworks

    ‍‍ Hadoop是开源的,但是企业版本其实是由几家大的把持,这个就类似li‍‍nu‍‍x的redhat和suse一样,提供hadoop发型版本的主要的有Hortonworks,Cloudera 今天简单介绍Hortonworks: ‍‍ ‍‍‍‍ 先了解下Hortonworks的起源,Hortonworks,由Yahoo和Benchmark Capital‍‍于2011年7月联合创建,出身于名门 关于hadoop开源软件,大家要有以下认识:‍‍1、开源并不等于免费,这些发行版通过收取服务费的方式赚钱。‍‍‍‍‍‍ 3、‍‍开源软件往‍‍往不能‍‍满足需求,二次集成‍‍,二次开发的能力很重要,但凡有一定技术能力的应该立足在用的基础上,应该发展和锻炼自己的技术团队。‍‍‍‍ 4、业界还有很多也给hadoop贡献源码,但是并不发行企业版本。国内如阿里巴巴,华为等等,这些贡献源码,主要是要使自己的代码能合入开源主干,这样修改的代码可以得到开源社区的力量继续发展。

    63160

    历数大数据领域不可忽视的十大巨头

    Hadoop产品被称为EMR(Elastic Map Reduce),AWS解释这款产品采用了Hadoop技术来提供大数据管理服务,但它不是纯开源Hadoop,经过修改后现在被专门用在AWS云上 很多基于EMR为客户提供服务,有一些将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新,Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。 和Cloudera一样,Hortonworks是一个纯粹的Hadoop技术。与Cloudera不同的是,Hortonworks坚信开源Hadoop比任何其他供应商的Hadoop发行版都要强大。 Forrester指出英特尔在最近才推出这个产品,所以在未来还有很多改进的可能,英特尔和微软都被认为是Hadoop市场上的潜力股。 Forrester称Pivotal Hadoop平台的优势在于它整合了Pivotal、EMC、Vmware的众多技术,Pivotal的真正优势实际上等于EMC和Vmware两大为其撑腰。

    45380

    【盘点】十大最受欢迎的开源大数据技术

    Hadoop产品被称为EMR(Elastic Map Reduce),AWS解释这款产品采用了Hadoop技术来提供大数据管理服务,但它不是纯开源Hadoop,经过修改后现在被专门用在AWS云上 很多基于EMR为客户提供服务,有一些将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新,Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。 3.Hortonworks和Cloudera一样,Hortonworks是一个纯粹的Hadoop技术。 Forrester指出英特尔在最近才推出这个产品,所以在未来还有很多改进的可能,英特尔和微软都被认为是Hadoop市场上的潜力股。 Forrester称Pivotal Hadoop平台的优势在于它整合了Pivotal、EMC、Vmware的众多技术,Pivotal的真正优势实际上等于EMC和Vmware两大为其撑腰。

    36990

    2015年10个最酷的大数据创业

    作者|Bhavya Geethika|翻译|卢谊转自|数据客(微信ID: idacker)导读:美国IT和数据中心权威期刊《CRN》杂志又推出了年中榜单,在大数据领域评出了十大最酷的创业,这些业务包括商业智能 去年,创业在大数据领域似乎集中在帮助企业更容易和有效分析数据和获取价值。包括在Hadoop方面提供技术分析数据和实时流媒体数据、为提供的数据分析软件、为日常业务工作者提供大数据分析功能。 而且这些集中在加州哦!DataHero ? 一个致力于“自主服务”的业务分析软件。 Looker 提供了一个saas业务分析平台,该表示将通过简单的方式将企业不同来源的数据以可视化的方式呈现并共享出来。 KyvosInsights提供OLAP(联机分析处理)软件,对Hadoop上大量的结构化和非结构化数据进行交互式、多维分析任务,这家找到了一个更好的方法来分析存储在Hadoop集群上的数据。

    373100

    相关产品

    • 弹性 MapReduce

      弹性 MapReduce

      弹性MapReduce (EMR)结合云技术和  Hadoop等社区开源技术,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可以在数分钟内创建安全可靠的专属 Hadoop 集群,以分析位于集群内数据节点或 COS 上的 PB 级海量数据……

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      扫码关注云+社区

      领取腾讯云代金券