R语言为Hadoop集群数据统计分析带来革命性变化

R作为开源的数据统计分析语言正潜移默化的在企业中扩大自己的影响力。特有的扩展插件可提供免费扩展,并且允许R语言引擎运行在Hadoop集群之上。

R语言是主要用于统计分析、绘图的语言和操作环境。R本来是由来自新西兰奥克兰大学的Ross Ihaka和Robert Gentleman开发。(也因此称为R)现在由“R开发核心团队”负责开发。R是基于S语言的一个GNU项目,所以也可以当作S语言的一种实现,通常用 S语言编写的代码都可以不作修改的在R环境下运行。R的语法是来自Scheme。

R的源代码可自由下载使用,亦有已编译的可执行文件版本可以下载,可在多种平台下运行,包括UNIX(也包括FreeBSD和Linux)、Windows和MacOS。R主要是以命令行操作,同时有人开发了几种图形用户界面。(此资源来自维基百科)

众所周知,Google开创了MapReduce,MapReduce是处理存储在存储区的非结构化数据的先驱。虽然Google不允许 MapReduce被外部使用,但由于Google曾拿出MapReduce一部分相关信息与Nutch分享,以开发开源版本的Hadoop。结果 Nutch被Yahoo收购,所以Yahoo也推出了Apache Hadoop项目。

MapReduce的工作原理是将非结构化数据打碎并分布到服务器的各个节点。MapReduce将并行化、容错、数据分布、负载均衡等放在库中,而将系统对数据的所有操作都归结为两个步骤,通过Map和Reduce两步来实现在大规模计算节点中人物的调度与分配。

R语言与Hadoop结合

现在,统计工作者可利用R语言,R语言擅长在Hadoop分布式文件系统中存储的非结构化数据的分析。R现在还可以运行在HBase这种非关系型的 数据库以及面向列的分布式数据存储之上。其主要模仿了Google的BigTable。这基本上等同于使用Hadoop来持有结构化数据的数据库。就像 Apache软件基金会Hadoop项目的子项目HBase一样。

Revolution Analytics公司提供对开源R语言的商用软件扩充以及支援,这使得让统计分析师及科学家能够在短暂的时间内从大量的重要资料中发现有意义的资讯。 Revolution Analytics公司首席技术官David Champagne表示R引擎可部署在Hadoop集群中的每个节点上面。你可以在部署了R的工作组中设置R算法,而不是在Java编程中减少算法。它可解析Hadoop映射函数的节点,同时可并行的统计分析存储在HDFS的数据。

如果不使用MapReduce,然后提取数据并将数据返回给分析数据的工作组。但不要忘记你还需要消化集群中的数据,同时还要聚合它们。从本质说,R是使用Hadoop的一个网格控制器,其管理特定算法的运行并控制运行的数据。

R语言为企业提供更多商机

本周,Revolution Analytics与Cloudera成为新的合作伙伴。并宣布将Cloudera Distribution Apache Hadoop(CDH3)集成到RevolutionAnalytics的R企业平台上。新产品被称为“RevoConnectRfor Apache Hadoop”。

其实Oracle早在去年就增加了对开源R语言的支持,据Oracle官方透露他们将在数据挖掘软件接口中更多使用R语言进行数据的统计与分析。同时一些主流的数据分析和数据库厂商,如IBM、SAS也都已经开始支持R语言。

七款优秀的R语言图形用户界面

相关的R语言图形用户界面也应用而生,其可帮助初学者快速进入R语言环境。包括:集成开发环境RStudio、Gnome环境下的R语言数据挖据工具Rattle、图形编程界面Red-R、Deducer等。

现在,R与Hadoop的连接器已经可以在GitHub下载。(来源:CSDN)

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-01-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

干货 | 全球100款大数据工具汇总(收藏备用)

导读:你熟悉多少工具?今天我们将常用的100款工具推荐给您,若您有更多更好的工具欢迎留言! ? 1、 Talend Open Studio 是第一家针对的数据集...

37313
来自专栏钱塘大数据

大数据技术人员必备工具包,为工作提质增效

本文作者:秦陇纪 ? 本文简介:数据科学家的常用工具与基本思路,数据分析师和数据科学家使用的工具综合概述,包括开源的技术平台相关工具、挖掘分析处理工具、其它常见...

4045
来自专栏大数据

大数据关键技术分析

古代,人们用牛来拉重物,当一头牛拉不动一根圆木时,他们不曾想过培育更大更壮的牛。同样,在面对计算能力不足时,我们也应尝试着结合使用更多的计算机系统。 Hadoo...

1946
来自专栏大数据文摘

资源 | 全球100款大数据工具汇总,入行必备

3342
来自专栏用户2442861的专栏

浅谈Storm流式处理框架

http://blog.csdn.net/fanyun_01/article/details/50921678

932
来自专栏大数据技术学习

Hadoop工具如何形成SAP Hana的大数据平台

自2008年以来,SAP Hana一直是领先的数据库管理系统之一。它比许多其他数据库管理解决方案能够更有效地处理数据,主要是因为它可以使用一些最先进的hadoo...

1464
来自专栏华章科技

经典收藏丨数据科学家&大数据技术人员工具包

本文简介:数据科学家的常用工具与基本思路,数据分析师和数据科学家使用的工具综合概述,包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种,几十个大...

1012
来自专栏钱塘大数据

【干货】全球100款大数据工具汇总,入行必备

是第一家针对数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次,其...

1350
来自专栏钱塘大数据

【干货】全球100款大数据工具汇总,入行必备

1、 Talend Open Studio 是第一家针对数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商...

89115
来自专栏大数据文摘

数据科学工具包(万余字介绍几百种工具,经典收藏版!)

25211

扫码关注云+社区