【盘点】十大最受欢迎的开源大数据技术

导读：大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术

十大开源技术

　　1.Hadoop——高效、可靠、可伸缩，能够为你的数据存储项目提供所需的YARN、HDFS和基础架构，并且运行主要的大数据服务和应用程序。

　　2.Spark——使用简单、支持所有重要的大数据语言(Scala、Python、Java、R)。拥有强大的生态系统，成长迅速，对microbatching/batching/SQL支持简单。Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

　　3.NiFi——ApacheNiFi是由美国国家安全局(NSA)贡献给Apache基金会的开源项目，其设计目标是自动化系统间的数据流。基于其工作流式的编程理念，NiFi非常易于使用、强大、可靠、高可配置。两个最重要的特性是其强大的用户界面和良好的数据回溯工具。堪称大数据工具箱里的瑞士军刀。

　　4.ApacheHive2.1——Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。随着最新版本的发布，性能和功能都得到了全面提升，Hive已成为SQL在大数据上的最佳解决方案。

　　5.Kafka——Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模网站中的所有动作流数据。它已成为大数据系统在异步和分布式消息之间的最佳选择。从Spark到NiFi再到第三方插件工具以至于Java到Scala，它都提供了强大的粘合作用。

　　6.Phoenix—是HBase的SQL驱动。目前大量的公司采用它，并扩大其规模。HDFS支持的NoSQL能够很好地集成所有工具。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan，并编排执行以生成标准的JDBC结果集。

　　7.Zeppelin——Zeppelin是一个提供交互数据分析且基于Web的笔记本。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括Scala(使用ApacheSpark)、Python(ApacheSpark)、SparkSQL、Hive、Markdown、Shell等。

　　8.SparklingWater——H2O填补了Spark’sMachineLearning的缺口，它可以满足你所有的机器学习。

　　9.ApacheBeam——在Java中提供统一的数据进程管道开发，并且能够很好地支持Spark和Flink。提供很多在线框架，开发者无需学习太多框架。

　　10.StanfordCoreNLP——自然语言处理拥有巨大的增长空间，斯坦福正在努力增进他们的框架。

十大顶尖公司

1.Amazon Web Services

Forrester将AWS称为“云霸主”，谈到云计算领域的大数据，那就不得不提到亚马逊。该公司的Hadoop产品被称为EMR（Elastic Map Reduce），AWS解释这款产品采用了Hadoop技术来提供大数据管理服务，但它不是纯开源Hadoop，经过修改后现在被专门用在AWS云上。

Forrester称EMR有很好的市场前景。很多公司基于EMR为客户提供服务，有一些公司将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新，Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。亚马逊计划为其产品和服务提供更强大的EMR支持，包括它的RedShift数据仓库、新公布的Kenesis实时处理引擎以及计划中的NoSQL数据库和商业智能工具。不过AWS还没有自己的Hadoop发行版。

2.Cloudera

Cloudera有开源Hadoop的发行版，这个发行版采用了Apache Hadoop开源项目的很多技术，不过基于这些技术的发行版也有很大的进步。Cloudera为它的Hadoop发行版开发了很多功能，包括Cloudera管理器，用于管理和监控，以及名为Impala的SQL引擎等。Cloudera的Hadoop发行版基于开源Hadoop，但也不是纯开源的产品。当Cloudera的客户需要Hadoop不具备的某些功能时，Cloudera的工程师们就会实现这些功能，或者找一个拥有这项技术的合作伙伴。Forrester表示：“Cloudera的创新方法忠于核心Hadoop，但因为其可实现快速创新并积极满足客户需求，这一点使它不同于其他那些供应商。”目前，Cloudera的平台已经拥有200多个付费客户，一些客户在Cloudera的技术支持下已经可以跨1000多个节点实现对PB级数据的有效管理。

3.Hortonworks

和Cloudera一样，Hortonworks是一个纯粹的Hadoop技术公司。与Cloudera不同的是，Hortonworks坚信开源Hadoop比任何其他供应商的Hadoop发行版都要强大。Hortonworks的目标是建立Hadoop生态圈和Hadoop用户社区，推进开源项目的发展。Hortonworks平台和开源Hadoop联系紧密，公司管理人员表示这会给用户带来好处，因为它可以防止被供应商套牢（如果Hortonworks的客户想要离开这个平台，他们可以轻松转向其他开源平台）。这并不是说Hortonworks完全依赖开源Hadoop技术，而是因为该公司将其所有开发的成果回报给了开源社区，比如Ambari，这个工具就是由Hortonworks开发而成，用来填充集群管理项目漏洞。Hortonworks的方案已经得到了Teradata、Microsoft、Red Hat和SAP这些供应商的支持。

4.IBM

当企业考虑一些大的IT项目时，很多人首先会想到IBM。IBM是Hadoop项目的主要参与者之一，Forrester称IBM已有100多个Hadoop部署，它的很多客户都有PB级的数据。IBM在网格计算、全球数据中心和企业大数据项目实施等众多领域有着丰富的经验。“IBM计划继续整合SPSS分析、高性能计算、BI工具、数据管理和建模、应对高性能计算的工作负载管理等众多技术。”

5.Intel

和AWS类似，英特尔不断改进和优化Hadoop使其运行在自己的硬件上，具体来说，就是让Hadoop运行在其至强芯片上，帮助用户打破Hadoop系统的一些限制，使软件和硬件结合的更好，英特尔的Hadoop发行版在上述方面做得比较好。Forrester指出英特尔在最近才推出这个产品，所以公司在未来还有很多改进的可能，英特尔和微软都被认为是Hadoop市场上的潜力股。

6.MapR Technologies

MapR的Hadoop发行版目前为止也许是最好的了，不过很多人可能都没有听说过。Forrester对Hadoop用户的调查显示，MapR的评级最高，其发行版在架构和数据处理能力上都获得了最高分。MapR已将一套特殊功能融入其Hadoop发行版中。例如网络文件系统（NFS）、灾难恢复以及高可用性功能。Forrester说MapR在Hadoop市场上没有Cloudera和Hortonworks那样的知名度，MapR要成为一个真正的大企业，还需要加强伙伴关系和市场营销。

7.Microsoft

微软在开源软件问题上一直很低调，但在大数据形势下，它不得不考虑让Windows也兼容Hadoop，它还积极投入到开源项目中，以更广泛地推动Hadoop生态圈的发展。我们可以在微软的公共云Windows Azure HDInsight产品中看到其成果。微软的Hadoop服务基于Hortonworks的发行版，而且是为Azure量身定制的。

8.微软也有一些其他的项目，包括名为Polybase的项目，让Hadoop查询实现了SQLServer查询的一些功能。Forrester说：“微软在数据库、数据仓库、云、OLAP、BI、电子表格（包括PowerPivot）、协作和开发工具市场上有很大优势，而且微软拥有庞大的用户群，但要在Hadoop这个领域成为行业领导者还有很远的路要走。”

9.Pivotal Software

EMC和Vmware部分大数据业务分拆组合产生了Pivotal。Pivotal一直努力构建一个性能优越的Hadoop发行版，为此，Pivotal在开源Hadoop的基础上又添加了一些新的工具，包括一个名为HAWQ的SQL引擎以及一个专门解决大数据问题的Hadoop应用。Forrester称Pivotal Hadoop平台的优势在于它整合了Pivotal、EMC、Vmware的众多技术，Pivotal的真正优势实际上等于EMC和Vmware两大公司为其撑腰。到目前为止，Pivotal的用户还不到100个，而且大多是中小型客户。

10.Teradata

对于Teradata来说，Hadoop既是一种威胁也是一种机遇。数据管理，特别是关于SQL和关系数据库这一领域是Teradata的专长。所以像Hadoop这样的NoSQL平台崛起可能会威胁到Teradata。相反，Teradata接受了Hadoop，通过与Hortonworks合作，Teradata在Hadoop平台集成了SQL技术，这使Teradata的客户可以在Hadoop平台上方便地使用存储在Teradata数据仓库中的据。

来源：ITeYe