在windows下使用eclipes连接linux下的Hadoop集群

hadoop 是工作在linux下的分布式系统,做为一个开发者,对于手里资源有限,不得不使用只有终端的虚拟机来运行hadoop集群。但是,在这种环境下,开发,调试就变得那么的不容易了。那么,有没有办法在windows下发调试呢。答案是肯定的。

hadoop为我们提供了一个Eclipes插件,使用我们可以在Eclipse环境下开发,调试hadoop程序,那么,应该如何安装eclipse-hadoop插件呢。下面把我的研究结果分享给大家(附上我自己编译的插件)。

1、编译eclipse-hadoop-plugins

         在hadoop目录下的找到/src/contrib/eclipse-plugin,用eclipse导入该project,

  由于插件需要hadoop的一些JAR 文件,所以,右键单击项目->build path ->configuretion build path->libraies->add External jars 。在hadoop的目录和其lin目录找到下面的jar,并加入

然后打开 build-contrib.xml

修改以下地方

<property name="hadoop.root" location="E:\boolbean\eclipseWorkspaces\hadoop-1.1.0" />
<property name="eclipse.home" location="D:/Program Files/eclipse" />
<property name="version" value="1.1.0" />

然后右击 build.xml -> run as -> ant build...

编译成功后,到${hadoop.root}/build/contrib/eclipse-plugin/找到hadoop-eclipse-plugin-1.1.0.jar,

将该JAR复制到eclipse安装目录的  plugins目录下,重启eclipse。

待eclipse重启后,选择window->Preferences,出现如图效果,刚安装成功

交且可以在 Projects Explorer里看到DFS Location 

然后单击 window -> show views -> others ,找到Map/Reduce Locations,显示MapReduce视图

右击,选择Edit hadoop location...

 Location name ,自定,无要求

 Map/Reduce Master 对应 mapred-site.xml中设置的IP和端口

 DFS Master core-site.xml 中的IP和端口

 在 Advanced 中,有各项设置参数,在里面,对core-site.xml、hdfs-site.xml、mapred-site.xml中设置过的参数,在这里也做相应的修改。

然后 Finish

若成功,在DFS Location出现hdfs目录结构

在eclipse连接hadoop的时候,要关闭linux防火墙,或者编辑iptables过虑规则。

       以上是本人纠结了很多天纠结出来的结果。编译安装过程中,新我这样的新手会遇到很多问题,各种谷歌,百度。另外,在连接hadoop的时候,把 eclipse 的 Error log 视图显示出来,可以让我们看到很详细的错误说明。以便找准方向解决问题。当遇到问题是,不防假设,问题会出在哪里。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程软文

开发过程中快速抓包并解析

这几天小编在工作中遇到了一个灵异事件,客户端使用的是安卓原生系统,服务端使用的是java。需求就是客户端在照相的时候可以实时上传照片。后台接收并保存,并且可以在...

2573
来自专栏逆向技术

学习逆向知识之用于游戏外挂的实现.第二讲,快速寻找植物大战僵尸阳光基址.以及动态基址跟静态基址的区别

              通过游戏外挂,学习逆向技术之快速寻找植物大战僵尸阳光基址.以及动态基址跟静态基址的区别

1551
来自专栏皮振伟的专栏

[linux][statethread]协程库ST技术分析

前言: 在IO密集型的场景下,尤其是互联网后台,经常会使用epoll等IO复用技术。鉴于直接使用epoll的代码阅读性和开发效率等原因,就抽象出来了各种高级模型...

3318
来自专栏抠抠空间

爬虫简介

1950
来自专栏架构师之路

线上服务内存OOM问题定位三板斧

相信大家都有感触,线上服务内存OOM的问题,是最难定位的问题,不过归根结底,最常见的原因: 本身资源不够 申请的太多 资源耗尽 58到家架构部,运维部,58速运...

3306
来自专栏从零开始学自动化测试

Appium+python自动化13-native和webview切换

前言 现在大部分app都是混合式的native+webview,对应native上的元素通过uiautomatorviewer很容易定位到,webview上的元...

4666
来自专栏北京马哥教育

马哥金牌分享 | 十五分钟实现Ansible常用模块入门

本文是马哥教育特约金牌讲师、Linux运维专家魏巍的分享《Anisble常用模块入门指南》的文字整理篇。 朋友们晚上好: 今天我为大家带来的分享是 Ansibl...

4055
来自专栏王磊的博客

WebStorm文件类型关联设置

无意中创造了一个没有扩展名的文件,我选择了错误的文件类型关联。是js类型的,我却选成了文本,Ws每次编辑类型就成了txt文本,这个问题让我很苦恼,以下是我的解决...

3746
来自专栏linux系统运维

linux任务计划, chkconfig工具,systemd管理服务, unit介绍,target介绍

1935
来自专栏文渊之博

预写式日志(Write-Ahead Logging (WAL))

     SQL Server中使用了WAL(Write-Ahead Logging)技术来保证事务日志的ACID特性。而且大大减少了IO操作。      WA...

3048

扫码关注云+社区

领取腾讯云代金券