RHadoop环境搭建

Rhadoop环境搭建

在集成R和hadoop之前需要将hadoop以及R运行环境安装好,hadoop的安装可参见hadoop2.4.1安装笔记. 1.下载相关安装包:

$wget https://raw.githubusercontent.com/RevolutionAnalytics/rhdfs/master/build/rhdfs_1.0.8.tar.gz
$wget https://raw.githubusercontent.com/RevolutionAnalytics/rmr2/3.1.0/build/rmr2_3.1.0.tar.gz 
$wget https://raw.githubusercontent.com/RevolutionAnalytics/rhbase/master/build/rhbase_1.2.0.tar.gz

2.安装R包:

$R
>install.packages(c("rJava", "Rcpp", "RJSONIO", "bitops", "digest", "functional", "stringr", "plyr", "reshape2", "caTools"))
>install.packages(pkgs="rhdfs_1.0.8.tar.gz")
>install.packages(pkgs="rmr2_3.1.0.tar.gz")

3.启动hadoop后测试安装是否成功

>library(rhdfs)
>hdfs.init()
>hdfs.ls("/")
>library(rmr2)
>from.dfs(to.dfs(1:100))
>from.dfs(mapreduce(to.dfs(1:100)))

eclipse上搭建R开发环境

eclipse上通过StatET来开发R程序,可以通过安装StatET直接在eclipse上建立R项目并执行R语言程序. R与Java语言的交互是通过JRI来完成的,需要在eclipse中安装RJava Eclipse Plugin和加载jri包来完成.jri的包的位置在rjava包的安装目录下面

eclipse上搭建hadoop开发环境

安装hadoop eclipse插件来开发hadoop环境下的mapreduce程序: 具体插件安装方式可以参见hadoop2x-eclipse-plugin

eclipse上WTP插件的安装

WTP方便在eclipse上开发J2EE程序,可以通过添加源地址方便的安装: 源地址的一般格式为http://download.eclipse.org/webtools/repository/kepler(eclipse version) Spark结合R语言开发…

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Python绿色通道

Python线程与进程的一些概念

概念 进程就是一个程序在一个数据集上的一次动态执行过程。 进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成;数...

1073
来自专栏令仔很忙

新手学JAVA(十一)-多线程----线程的生命周期

当一个线程被创建并启动之后,并不是一开始就处于执行状态,已不是一直处于运行状态。线程也是有生命周期的,包括:创建(New)、就绪(Runnable)、阻塞(B...

991
来自专栏JavaEdge

intellij idea tomcat热部署配置1.设置Debugger-HotSwap2.项目设置3.配置tomcat

在setting界面,打开Debugger-HotSwap选项,确保勾选了Build project before reloading classes,同时选择...

981
来自专栏专注研发

教你如何用笔记本设置超快WIFI

2.命令提示符中输入:netsh wlan set hostednetwork mode=allow ssid=wifi名称   key=wifi密码(8位以上...

5502
来自专栏Theo Tsao

Linux网络管理

本文包括: 查看网络接口、配置网络接口、重启网络接口、路由命令 route、主机名称命令 hostname、网络工具

1222
来自专栏上善若水

006-centos7设置静态ip

第二步:去对应的网络接口配置文件修改配置,注意文件名称是(ifcfg-默认第一个网络接口名称),文件路径是/etc/sysconfig/network-scri...

1013
来自专栏IT探索

samba

2)增加用户:smbpasswd -a username  ,注:username为linux用户

1382
来自专栏地方网络工作室的专栏

linux\mac 日常入门命令行使用——搜索文件\文件夹

linux\mac 日常入门命令行使用——搜索文件\文件夹 搜索文件或者文件夹,是一个常见的需求。我们可以用多种命令来实现我们的需求。 find 命令实现搜索 ...

28510
来自专栏Java技术栈

如何“优雅”地终止一个线程?

我们的系统肯定有些线程为了保证业务需要是要常驻后台的,一般它们不会自己终止,需要我们通过手动来终止它们。我们知道启动一个线程是start方法,自然有一个对应的终...

3798
来自专栏LinXunFeng的专栏

构建FTP服务器

3915

扫码关注云+社区

领取腾讯云代金券