Eclipse下Hadoop的MapReduce开发之eclipse配置

hadoop的安装部署这里就不赘述了。不了解的可以百度下或者看下我的前几篇文章。

    首先下载Eclipse LUNA,这里注意如果你是想在远程电脑上使用eclipse,也就是hadoop安装在linux下,而你想在win系列的电脑上连接并编写MapReduce程序,那么需要进行一项配置。

    打开hadoop文件目录,找到etc/hadoop/下的hdfs-site.xml,增加如下配置来关闭hdfs的权限设置

<property>
        <name>dfs.permissions</name>
        <value>false</value>    
</property>

    这里为了方便截图,我将eclipse安装在了远程电脑上,win7系统。eclips的安装其实就是解压,无论是linux还是win系列都是一样的,这里就不介绍了。

    下载完成后,还要下载一个eclipse的hadoop插件下载地址在此,然后解压eclipse。解压完成后找到${eclipse_home}/plugins文件夹,再将刚才下的插件粘贴进去,注意只要jar文件即可,hadoop2.6版本的jar名称应该是hadoop-eclipse-plugin-2.6.0.jar,最后启动eclipse。

    eclipse启动后,找到Window>>preferences,找到Hadoop Map/Reduce,在右边设置hadoop的文件路径(如何非远程直接设置路径即可,如果远程需在本地电脑解压一个与安装hadoop同样版本的hadoop,然后指向这个目录即可,不用对此设置任何东西,这个目录主要提供一些依赖jar)

然后在工具栏找到一个文本框似的的东西,点击它输入Map,在弹出来的选择项中找到第一个,双击

双击后,在下面控制台部分会出现一个叫Map/Reduce Locations的页签,点击它,在面板里右键选择New Hadoop Location

在弹出来的页面中要设置如下几项;

    location name:链接名称,随便写,比如hadooptest

    Map/Reduce(V2) Master:master的地址和端口

    DFS Master:文件系统的端口

    User name:linux中运行hadoop的账户名称

其余默认即可,然后点击Finish。

点击后在左侧project explorer可以看到一个叫DFS Locations的项目,打开它就能看到hadoop文件系统中的所有文件,在这里你可以上传,可以下载,可以删除,也可以增加,比在linux下用命令操作舒服多了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张善友的专栏

反向代理(Reverse Proxy)及 IIS 7 应用请求路由模块

反向代理(Reverse Proxy)方式是指以代理服务器来接受外部的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给外部的请求连接...

39880
来自专栏挖坑填坑

ionic 中 cordova-plugin-inappbrowser组件的使用

在上一篇文章中(使用Ionic3创建原生app系统入门)介绍了如何使用ionic构建一个Android app 项目,并生成apk安装包。

23320
来自专栏黑泽君的专栏

解决:Setting property 'source' to 'org.eclipse.jst.jee.server 的问题

  警告: [SetContextPropertiesRule]{Context} Setting property 'source' to 'org.ecli...

11720
来自专栏BIT泽清

React Native应用部署/马甲包热更新-CodePush最新集成总结(2018年最新)

React Native支持大家用React Native技术开发APP,并打包生成一个APP。在动态更新方面React Native只是提供了动态更新的基础,...

46000
来自专栏阮一峰的网络日志

Node 调试工具入门教程

JavaScript 程序越来越复杂,调试工具的重要性日益凸显。客户端脚本有浏览器,Node 脚本怎么调试呢? ? 2016年,Node 决定将 Chrome ...

43060
来自专栏lonelydawn的前端猿区

初学redis之windows服务配置与启动

初学redis首先要配置好服务, redis在Linux上的安装只要按照官方指导来,很快很简单。 下面来谈谈redis在windows上的安装。 官网虽然没给r...

24250
来自专栏Android自学

android studio如何修改包名

41130
来自专栏小程序之家

如何在小程序中实现文件上传下载

在如何实现小程序登录鉴权这篇文章中,我们实现了小程序的wx.request请求操作,除了request之外,小程序还有文件下载wx.downloadFile和文...

15K70
来自专栏逸鹏说道

Javascript缓存投毒学习与实战

0x00 起因 不久前@三好学生师傅买了一个wooyun wifi,然后聊到了缓存投毒: ? 然后看到wooyun wifi的这个说明: 默认情况下该功能附带缓...

48550
来自专栏贾鹏辉的技术专栏@CrazyCodeBoy

React Native应用部署/热更新-CodePush最新集成总结(新)

React Native应用部署/热更新-CodePush最新集成总结(新) ---- 更新说明: 此次博文更新适配了最新版的CodePush v1.17....

89960

扫码关注云+社区

领取腾讯云代金券