Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR,华为,DKhadoop等都提供了自己的商业版本。商业发行版主要是提供了更为专业的技术支持，这对于大型企业更为重要，不同发行版都有自己的一些特点，本文就各发行版做简单对比介绍。
一、背景介绍 生产环境中，hadoop的版本选择是一个公司架构之时，很重要的一个考虑因素。这篇文章根据就谈谈现在主流的hadoop版本的比较。如果有不同意见，或者指正，希望大家能交流。 Apache Hadoop：Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。称为社区版Hadoop。 第三方发行版Ha
大数据文摘翻译:超伦,校译:甄艾庄(转载请保留) 如果你有大量的数据，那么Hadoop已然,或者即将应当进入你的视野。 当下最时髦且富有盛名的大数据管理系统原来只用在像谷歌、雅虎这样的互联网大咖，现在已经逐渐渗透到众多企业中。原因主要有以下两点：1）企业也在产生越来越多需要管理的数据，而Hadoop是一个非常棒的平台，特别是它能够合并遗留的旧数据，新数据和非结构化的数据。2）很多的围绕Hadoop提供支持和服务的供应商出现，促使Hadoop更适用于企业； “Hadoop作为一个开源平台自由成长，深入到企业数
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51757045
差不多两个月前，Hadoop三巨头之一的MapR表示如果再没有融资就会破产。之后到了预定日期，MapR表示找到了买家，自己正在和买家谈。总而言之暂时没破产。
据Gigaom消息，Hortonworks已经将Apache Kafka加入其Hadoop软件平台的技术预览版中。对比Spark，Kafka的在流行度上可能稍有逊色，但是却被广泛运用于一些大型网络公司的应用架构中。Kafka最初是由LinkedIn设计的实时消息系统，当下已经被很多网络公司用于将Web应用消息快速传递到合适的数据服务中。 image.png 除了Kafka之外，Hortonworks已经分别整合了Spark与Storm。在2013年底，Hortonworks宣布在收到大量的客户请求后，Hor
Forrester将AWS称为“云霸主”，谈到云计算领域的大数据，那就不得不提到亚马逊。该公司的Hadoop产品被称为EMR(Elastic Map Reduce)，AWS解释这款产品采用了Hadoop技术来提供大数据管理服务，但它不是纯开源Hadoop，经过修改后现在被专门用在AWS云上。 Forrester称EMR有很好的市场前景。很多公司基于EMR为客户提供服务，有一些公司将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新，Forrester称未来EMR可以基于工作量的需要自动缩放调整大
谢谢大家的反馈，很多意见和建议非常的有见地，很有帮助。我想写好文章，写大家爱读的文章是最重要的。鉴于工作日渐繁忙，更新频率做不到非常的高，但是我会尽量写好每篇更新的文章。 有人说钱是好东西，来来往往皆为利。但是开源的东西本身并不来钱。只是不管怎么样，大家都是要吃饭的。雷锋叔叔这么伟大，在中国也只能三月来了四月走。真正能存在的，以前叫暴发户，现在改革开放那么多年了，人工智能都有了长足发展了，暴发户也进化成土豪了。 当年Linux开始起来的时候，也是打着免费开源的名头开始的。但是今天靠Linux为生的企业很
-------------------------------------------------------------------------------------------------
导读：大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术 十大开
Cloudera财报以后股票腰斩，CEO辞职，现在作为大数据时代的领头羊的Cloudera已经难看的不能再难看了。
近日，Hadoop 领域发生几件不太美好的事情，先是 MapR 宣布如果无法获得新的投资，就必须要裁员百余人，并关闭硅谷总部，再是 Cloudera 股价暴跌 43%，估值缩水。
最近需要编译flink-1.9.0和flink-shaded，由于网上所给信息是，在编译时需要在两个工程内设置非中央仓库的官方镜像源。对于更换Maven国内镜像有一定的经验总结。
最近需要编译flink-1.9.0和flink-shaded，由于网上所给信息是，在编译时需要在两个工程内设置非中央仓库的官方镜像源。对于更换Maven国内镜像有一定的经验总结。本文以阿里云为例，其他镜像源——比如腾讯云——也是可以使用的。
作者：GETINDATA公司创始人兼大数据顾问彼得亚·雷克鲁斯基（Piotr Krewski）和GETINDATA公司首席执行官兼创始人亚当·卡瓦（Adam Kawa）
自从Dremel出来以后，跟风的行动就开始了。狗狗出品，必有跟屁虫，必有抄袭者，更有炒作的。Cloudera最开始宣传的时候，在2012年，它们做的一个新系统叫Impala，是Dremel的开源版。当然，其他两家批发商也没闲着，MAPR搞了个Drill，Hortonworks也许最忽悠也许最实际，说我们只需要改善 Hive就好，没必要搞其他飞机。 这个事情后来的发展，当然是Hortonworks继续搞它的HIVE，MapR现在天天叫着Drill是Dremel的开源实现。而Cloudera很早之前就悄悄的
本文档描述Windows Server2008 R2（windows的内核版本是6.1，与windows 7相同）下安装Kerberos Client及FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的Web UI(如Namenode的50070，Yarn的8088)的过程。安装文档主要分为以下几步：
【编者按】近日，MapR正式将Apache Drill整合进该公司的大数据处理平台，并开源了一系列大数据相关工具。时至今日，在高度竞争的Hadoop领域，开源已成为众多公司的利器，他们纷纷通过贡献更多的代码来保护自己，也通过开源来攻击其它公司的开发性。就这个事件，Derrick Harris在Gigaom上做了简要分析。 以下为译文 近日，MapR，Apache Drill项目的创建者，已经将该技术的初期版本整合到该公司的大数据平台。该公司称这个版本的Drill为0.5，以“开发者预览版”的方式展示这个SQ
大数据在各行各业中取得了迅猛发展，许多组织都被迫寻找新的创造性方法来管理和控制如此庞大的数据，当然这么做的目的不只是管理和控制数据，而是要分析和挖掘其中的价值，来促进业务的发展。着眼大数据，过去几年内产生了许多颠覆性技术，比如Hadoop、MongDB、Spark、Impala等，了解这些前沿技术还有助于你更好的把握大数据发展趋势。诚然，想了解一件事物，首先要了解与该事物有关的人。因此，要想了解大数据，光了解技术是远远不够的，本文中大数据领域的十个巨头，将有助于你更深入掌握大数据这个行业的发展形势。
有读者指出我文章不够严谨，Cloudera Manager是一直可以下载的。我仔细看了一下，这的确是我不够严谨，Cloudera Manager的确是可以免费下载。只是所有enterprise相关的功能只给了60天的试用期。而Cloudera manager没有了那些enterpise的功能也就聊胜于无了。再此就错误道个歉。 Hadoop的世界里，Hortonworks算是一个不知道应该怎么去描述的角色了。这个公司起源于2011年Yahoo的spinoff。说白了就是在Yahoo和其他人的投资下，原来
同美国市场一样，以Hadoop为代表的开源大数据技术，在中国大数据产业经历了一段狂热期，目前这股浪潮正渐渐退去。
大数据一词最近几年热度不减，越来越多人谈论它，越来越多的公司开始在其中进行投资。 职业社交网站LinkedIn最近发布的一份针对其3.3亿用户档案分析报告显示，在2014年最热门的25项职业技能中，排名榜首的就是“统计分析和数据挖掘”。考虑到万物互联、云计算、智能设备、机器学习等不断涌现的科技潮流词汇以及由此积累的庞大数据，与大数据紧密相连的数据科学家受到职场热捧也就不难理解了。 从薪酬的角度来看，美国一项调查显示，2014年，数据科学家的平均年薪是12.3万美元，比上一年有大幅上升。C
大数据文摘作品，转载要求见文末 编译 | 姜范波，Yawei “ 当地时间2017年3月31日，Cloudera，这家建立在开源项目Hadoop之上的商业公司终于公布了其备受期待的IPO备案，在公布的文件中，曾经大力支持它的英特尔也成为了其最大的股东。 这将是继Snapchat之外，今年又一个备受瞩目的高科技IPO。 ” 虽然名字里有一个“云”，Cloudera并不是一个真正的云公司。它是一个建立在开放源代码Hadoop项目之上的商业产品，hadoop的公司吉祥物是一只可爱的大象。在数据量越来越大的时代（
介绍 本文要介绍的Apache Hadoop是一个使用简单高级编程模型实现的对大型数据集进行分布式存储和处理的软件框架。文章涵盖了Hadoop最重要的概念，对其架构的描述，并指导如何使用它，以及在Hadoop上编写和执行各种应用程序。 简而言之，Hadoop是Apache Software Foundation的开源项目，可以安装在一组标准机器上，以便这些机器可以通信并协同工作来存储和处理大型数据集。近年来，Hadoop已经非常成功，因为它有能力有效地处理大数据。它允许公司将其所有数据存储在一个系统中，并对
英文有个说法叫Sugar Daddy。翻译成中文还是干爹比较合适。大家都知道文字在发展，近年来尤其在加速发展。同志，小姐都赋予了新的含义，随着长城的上演，干爹的新含义也越来越明确起来。今天的主角是Ha
导读：大数据公司是现在最火热的行业之一，目前全球大数据企业主要分为两大阵营：一部分属于单纯以大数据技术为核心的新兴企业，以实力和创新力为市场带来新方案并推动技术发展;另有一些原本打理数据库/数据仓储业务的老牌厂商，他们打算利用自身优势地位冲击大数据领域，将现有安装基础及产品线口碑推广到新一轮技术浪潮当中。 让我们一起来看看今天最有料的十五家大数据企业，其中十家早已名满天下，另外五家则属初来乍到。 10大老牌 1.IBM 根据Wikibon发布的报告，作为2012年大数据业务营收成绩最好的公司IBM过去一年
在Hadoop生态系统中，规模最大、知名度最高的公司则是Cloudera。现在国内很多公司也都选用他们的发行版本（CDH)。 Cloudera由来自Facebook、谷歌和雅虎的前工程师杰夫·哈默巴切(Jeff Hammerbacher)、克里斯托弗·比塞格利亚(Christophe Bisciglia)、埃姆·阿瓦达拉(Amr Awadallah)以及现任CEO、甲骨文前高管迈克·奥尔森(Mike Olson)在2008年创建。 首先来看下Cloudera的技术框架
Apache Spark开源生态系统在2014上半年大幅增长，已迅速成为大数据领域中最活跃的开源项目，HDFS位列第二，其代码变动次数（commits）和行数仅仅有Spark的一半： 有超过50个机构250个工程师贡献过代码 和去年六月相比，代码行数几乎扩大三倍。 随着1.0版本于5月30日推出，Spark提供了一个稳定的API，开发人员可以依靠它来保证代码的兼容性。所有主流的Hadoop发行商，包括Hortonworks、IBM、Cloudera、MapR和Pivotal都提供了Spark的包装和技术支持
按照惯例今天应该是继续讲三驾马车的BigTable，但是一则BigTable这东西不容易一下子说清楚。二则我觉得是时候停一下技术，多聊点八卦。所以我们来讲讲这个著名的活雷锋公司，以及Hadoop的早年。 Yahoo作为互联网时代的第一股，曾经牢牢的占据了整个IT行业非常重要的位置。从.com时代存活下来，一直到最近穿出来卖给Verizon，又传闻Verizon变卦不想买。从天之骄子变成弃之如敝履的破鞋，也算得上是一个非常可悲的事情。我无意详细展开Yahoo这个公司的整个历史。但是业界有一个传闻，就是站
按照惯例今天应该是继续讲三驾马车的BigTable，但是一则BigTable这东西不容易一下子说清楚。二则我觉得是时候停一下技术，多聊点八卦。所以我们来讲讲这个著名的活雷锋公司，以及Hadoop的早年。 Yahoo作为互联网时代的第一股，曾经牢牢的占据了整个IT行业非常重要的位置。从.com时代存活下来，一直到最近穿出来卖给Verizon，又传闻Verizon变卦不想买。从天之骄子变成弃之如敝履的破鞋，也算得上是一个非常可悲的事情。我无意详细展开Yahoo这个公司的整个历史。但是业界有一个传闻，就是站在
身处数字经济时代，随着大数据应用越来越广泛，越来越多的企业和组织开始关注大数据基础平台的建设和运营。在认识到其的重要性之后，如何具体着手搭建或采购大数据基础平台成为下一步需要解决的问题。
商业版Hadoop是指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本，比较著名的有cloudera的CDH、mapR、hortonWorks等。
Apache Hadoop版本分为两代： 第一代 Hadoop称为 Hadoop 1.0 第二代 Hadoop称为Hadoop 2.0
由于各种原因，我似乎缺了一篇严肃的文章，来阐述我本人对大数据这个领域的看法，以至于有人看到我这篇文章里的这个观点，就扩展到了我认为的那个领域里的那个观点。我还是决定严肃的写一篇文章，阐述一下我个人的观点。这样一来，多少有据可查。
五年前，Gartner 研究总监就曾 发文 说 Hadoop 光环幻灭；到现在，我们看到了更多的质疑文字，认为“Hadoop 气数已尽”。而这次质疑的起因是 Cloudera 和 Hortonworks 的合并，MapR 的裁员。
允中 编译整理 量子位 报道 | 公众号 QbitAI 今天，大数据软件公司Cloudera提交了上市文件。 Cloudera是2008年成立的，主要业务是出售大数据处理开源软件Apache Hadoop的发行版，为企业客户部署基于Hadoop的大数据基础架构。 Hadoop是大数据领域常用的开源架构，但用起来相当麻烦，Cloudera这类公司为企业简化了部署Hadoop的流程。 这家公司有两个最主要的竞争对手：Hortonworks和Map R。Hortonworks在2014年已经上市，而Map
由于关注的重心从我们收集数据的方式转向实时处理数据，大数据时代即将终结。大数据现在是支持多云、机器学习和实时分析这几个新时代的业务资产。
在企业加速向数据驱动型公司转型的驱动下, 互联网数据中心（IDC）预计，在2014至2019年间，大数据技术和服务市场的复合年均增长率将达到23.1%，该市场预计在2019年达到486亿美元。然而，大数据市场日趋成熟，年同比增长预计会逐步放缓。Cloudera长期以来一直被视为下一个实现IPO的热门公司之一。近来，随着大数据和云服务平台诸如Tableau 和Hortonworks市场份额的骤降以及市场的波动已影响到Cloudera的首次公开募股计划（IPO）。 Cloudera的产品及服务 Clou
根据最新的Forrest报告，有很多公司都在努力挖掘他们拥有的大量数据，包括结构化、非结构化、半结构化以及二进制数据等，探索对数据的深入利用。下面是报告结论的其中一点： 大多数公司估计他们只分析了已有数据的12%，剩余88%还没有被充分利用。大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因。另外一个难题是如何判断数据是否有价值。尤其是在大数据时代，你必须采集并存储这些数据。一些看起来与业务无关的数据，如手机GPS数据，将来也可能是座金矿。 所以，大量公司都寄希望于使用Hadoop解决如下
新粉请关注我的公众号 最近网易数帆宣布自己要发布一个Hadoop的发行版，准备进军Hadoop发行商的市场。 Hadoop三大发行商Cloudera，Hortonworks和MapR，现在都已经是过去时了。当年Cloudera有多风光，现在就有多惨烈。Cloudera以一己之力证明了Hadoop发行商不是个好生意，是个火坑。 可是在2022的今天，在Cloudera已经私有化并停止更新它的Hadoop发行版的今天，网易却毫不犹豫跳进来了。难道网易的领导层发疯了？ 我和网易做大数据的那群人有过一些接触，在
大数据时代已经来了，许多企业希望将大数据用起来，带动企业的经营，但不知从哪里着手。它们找不到大数据与业务结合的突破口。而一些真正将大数据应用于实战的企业，却在应用过程中困难重重：大数据无法与业务结合；没有收集、分析海量数据的能力；经营人员缺少应用大数据的动力；数据来源鱼龙混杂难以使用。 企业需要结合自身特点，逐步推进大数据应用。对于没有平台部署能力又没有数据收集能力的中小企业，可以利用政府、社交网络平台等第三方提供的数据进行全量数据分析，从而可以在短时间内对很多业务模型进行全量计算，降低对海量数据和复杂模型
0. 下一代的企业数据云 将创建世界领先的下一代数据平台提供商，涵盖多云，内部部署和Edge。该组合为混合云数据管理建立了行业标准，加速了客户采用，社区发展和合作伙伴参与。 我们两家公司的业务具有很强的互补性和战略性。通过将Hortonworks在端到端数据管理方面的投资与Cloudera在数据仓库和机器学习方面的投资结合起来，我们将提供业界首个从Edge到AI的企业数据云。这一愿景将使我们的公司能够在追求数字化转型的过程中推动我们对客户成功的共同承诺。 两个公司希望通过合并，创造出一个年收入达到 7.2 亿美元的新实体，并制定清晰的行业标准，成为下一代数据平台领先者，提供业界第一个企业级数据云，提高公共云的易用性和灵活性 一直以来 Hortonworks 团队投资于实时数据流和数据摄取以支持边缘的物联网使用案例，而 Cloudera 更专注于 AI 和 ML 领域，使数据科学家能够使用极其复杂的工具来自动化机器学习工作流。 Cloudera新的CDP平台会同时支持运行在本地，私有云，以及5个最大的公有云包括Amazon，Microsoft，Google，IBM和Oracle 第一个CDP版本将包含CDH6.x和HDP3.x中的一系列组件，并将专注于运行客户现有的工作负载和数据 两家公司对外正式宣称统一版本会基于最新的HDP3.0+CDH6.0 Hadoop 商业化最典型的公司就是Hadoop的三驾马车——Hortonworks、Cloudera和MapR。 昨天我们是 Hortonworks，今天，随着我们合并的正式完成，我们是 Cloudera——现在是全球第二大开源软件公司。”，目前全球第一大开源软件公司仍旧是红帽。 1. 新的趋势 1.1 企业向公有云转变(aws,azure,google cloud) hadoop/spark 只是其一部分 1.2 云存储成本底 对象存储服务(aws s3,axure blob,google 云端存储) 比hadoop/spark 便宜了5倍 1.3 云服务器 以完全不一样的方式解决了同样的问题，运行即席查询 用户按计算时间计费，无需维护操作hadoop/spark集群 1.4 容器,kenernates和机器学习，今天在python/R语言下进行机器学习，容器与kubernates 为分布式计算提供了更加强大灵活的框架 不打算基于hadoop/spark 进行分发心得饿微服务应用程序 2. 产品影像 2.1 毫无疑问 对于一些无论是Cloudera还是Hortonworks都打包的较为通用的的组件，基本可以毫无疑问的确定会包含在统一版本中。具体包括核心的Apache Hadoop项目如MapReduce，HDFS和YARN - 以及Apache Spark，Apache Hive，Apache HBase，Apache Kafka，Apache Solr，Apache Oozie，Apache Pig，Apache Sqoop和Apache Zookeeper。 我们对新兴的对象存储项目Apache Hadoop Ozone的信心略有不足 2.2 存疑的 有一些开源项目目前仅包含在CDH或HDP中，而Cloudera也没有与之专门对标的产品，它们是否能包含在合并版中目前还存疑。比如说Apache Kudu和Apache Impala，这2个最初都是由Cloudera开发的，用于提供列式数据存储和ad hoc的分析，而最近Hortonworks引入了Apache Druid与之对应。 2.3 有争议的 Apache Ambari直接与Cloudera Manager竞争，再比如Cloudera使用Cloudera Navigator来实现数据治理和数据溯源，而Hortonworks则使用Apache Atlas。 Cloudera将清楚地意识到任何关于它想要扼杀开源功能的建议都将被认为是“大棒”，而不是“胡萝卜”，它将不会被Hortonworks客户和Apache软件基金会开发社区所接受。这是我们认为Cloudera如果想要退出开源需要很谨慎的考虑的另一个原因 - 至少在短期内如此 注：“Carrot and stick”(胡萝卜加大棒)
大家期盼已久的1.9已经剪支有些日子了，兴冲冲的切换到跑去编译，我在之前的文章《尝尝Blink》里也介绍过如何编译，本文只针对不同的地方以及遇到的坑做一些说明，希望对遇到同样问题的朋友有一些帮助。
新年新气象，给大家拜年。更新一篇等大家的红包。 上期我们讲了Impala，这个Hadoop批发商Cloudera推出来的有若干年头的，但却没有从Apache毕业的Hadoop上的数据查询分析系统。在这场战争里，当然不仅仅是Cloudera在战斗。今天我们来看看另外一个Hadoop批发商Hortonworks。 Hortonworks基本上就是Yahoo里的Hadoop团队减去被Cloudera挖走的Doug Cutting, Hadoop的创始人。这个团队的人做了不少东西，最初的HDFS和Hadoop Ma
按要求转载自36kr 作者 | 夜叶 几年前，大数据还只是新兴概念，现在数据早成行业和公司眼里的香饽饽，从底层基础平台，中间层通用技术，到上层行业应用，大数据产业链条日臻完善。 作为马云口中构建未来智能世界三个最主要要素之一，大数据自身是衍伸发挥的生产资料来源，而对数据的存储、计算又是整个大数据生态的基石，底层基础平台主要就解决这个问题。 而论及底层技术Hadoop领域，就得说到明星公司Cloudera，今年4月底已在纽交所上市。 Cloudera是首家将Hadoop商用的公司，以提供开源Hadoop发
之前我们提到大数据的时候就会提到Hadoop，Hadoop是大数据的基础框架，是大数据技术的代表。提到HDFS、MapReduce、Yarn，提到HBase、Hive、TEZ等Hadoop生态圈中的一个又一个开源组件。但是最近好像有点不一样了。
【新智元导读】作为每年定期在全球多个城市举办，聚集来自全球领先大数据企业及用户的顶级技术峰会，Strata + Hadoop World 今年的大会于3月14日在美国硅谷召开。而O’Reilly 宣布会议从此以后改名为 Strata Data Conference，也宣告了 Hadoop 时代的终结。本文整理了这次峰会 Keynote 的精华内容。重点在于使用高效的方式从存储和处理大数据转为新的机器学习技术，以从现有的数据中获取更高的价值。不过，即使聚光灯已经从大数据转移到机器学习（以及诸如深度学习等更先进
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
