前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Eclipse下Hadoop的MapReduce开发之eclipse配置

Eclipse下Hadoop的MapReduce开发之eclipse配置

作者头像
尚浩宇
发布2018-08-17 10:12:20
1.7K0
发布2018-08-17 10:12:20
举报
文章被收录于专栏:杂烩杂烩

hadoop的安装部署这里就不赘述了。不了解的可以百度下或者看下我的前几篇文章。

    首先下载Eclipse LUNA,这里注意如果你是想在远程电脑上使用eclipse,也就是hadoop安装在linux下,而你想在win系列的电脑上连接并编写MapReduce程序,那么需要进行一项配置。

    打开hadoop文件目录,找到etc/hadoop/下的hdfs-site.xml,增加如下配置来关闭hdfs的权限设置

代码语言:javascript
复制
<property>
        <name>dfs.permissions</name>
        <value>false</value>    
</property>

    这里为了方便截图,我将eclipse安装在了远程电脑上,win7系统。eclips的安装其实就是解压,无论是linux还是win系列都是一样的,这里就不介绍了。

    下载完成后,还要下载一个eclipse的hadoop插件下载地址在此,然后解压eclipse。解压完成后找到${eclipse_home}/plugins文件夹,再将刚才下的插件粘贴进去,注意只要jar文件即可,hadoop2.6版本的jar名称应该是hadoop-eclipse-plugin-2.6.0.jar,最后启动eclipse。

    eclipse启动后,找到Window>>preferences,找到Hadoop Map/Reduce,在右边设置hadoop的文件路径(如何非远程直接设置路径即可,如果远程需在本地电脑解压一个与安装hadoop同样版本的hadoop,然后指向这个目录即可,不用对此设置任何东西,这个目录主要提供一些依赖jar)

然后在工具栏找到一个文本框似的的东西,点击它输入Map,在弹出来的选择项中找到第一个,双击

双击后,在下面控制台部分会出现一个叫Map/Reduce Locations的页签,点击它,在面板里右键选择New Hadoop Location

在弹出来的页面中要设置如下几项;

    location name:链接名称,随便写,比如hadooptest

    Map/Reduce(V2) Master:master的地址和端口

    DFS Master:文件系统的端口

    User name:linux中运行hadoop的账户名称

其余默认即可,然后点击Finish。

点击后在左侧project explorer可以看到一个叫DFS Locations的项目,打开它就能看到hadoop文件系统中的所有文件,在这里你可以上传,可以下载,可以删除,也可以增加,比在linux下用命令操作舒服多了。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2015/05/27 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档