前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >eclipse工具下hadoop环境搭建

eclipse工具下hadoop环境搭建

作者头像
别先生
发布于 2018-04-17 07:24:06
发布于 2018-04-17 07:24:06
95700
代码可运行
举报
文章被收录于专栏:别先生别先生
运行总次数:0
代码可运行

eclipse工具下hadoop环境搭建:     window10操作系统中搭建eclipse64开发系统,配置hadoop的eclipse插件,让eclipse可以查看Hdfs中的文件内容。     1、将hadoop-eclipse-plugin-2.5.2.jar文件移动到eclipse的plugins文件夹中。     2、重启eclipse工具。打开eclipse工具以后,找到如下位置,打开map/reduce。

    3、切换视图到MapReduce视图下面,配置连接信息。

  注意:

    a、location name自己随便起名称。

    b、Host是你想要连接的主机ip地址。

    c、第一个Port=50020默认即可,第二个Port是自己配置core-site.xml文件的时候配置的端口号。               

 然后就可以查看hdfs上面的文件信息了,如下所示:

   4、进行上传和下载验证是否安装成功。

注意:上传的文件必须是utf-8格式的,window保存文本默认是ANSI格式的,所以需要注意。

上传文件到hdfs的时候遇到如下所示的问题:Permission denied:user=,access=WRITE,inode=""。而且创建文件夹也会不显示,按照提示应该是权限的问题。解决方法如下所示:

解决方法如下所示,记住解决完以后,创建文件或者文件夹记住刷新,不是自动刷新结构的:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
<property>    
    <name>dfs.permissions</name>    
    <value>false</value>    
</property>   

 如果上传的文件是utf-8格式的,但是在eclipse打开以后显示的是乱码的,做如下修改即可:

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018-04-06 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
hadoop_学习_02_Hadoop环境搭建(单机)
官方版本:http://archive.apache.org/dist/hadoop/
shirayner
2018/08/10
7460
hadoop_学习_02_Hadoop环境搭建(单机)
hadoop集群环境搭建
此文档编写使用的系统为ubuntu-18.04.1-live-server-amd64.iso版本。
吟风者
2019/07/24
1.1K0
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)
本文是由alice菌发表在:https://blog.csdn.net/weixin_44318830/article/details/102846055
王知无-import_bigdata
2020/05/08
1.7K0
Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效)
Ubuntu下利用MyEclipse开发Hadoop程序
开发的大环境是Ubuntu 11.04,Hadoop 0.20.2,MyEclipse 9.1
星哥玩云
2022/07/03
2730
Ubuntu下利用MyEclipse开发Hadoop程序
Fedora 20下Eclipse Ingido中配置Hadoop插件并运行Wordcount例程
Window->preference->HadoopMapReduce 设置好Hadoop的安装目录
星哥玩云
2022/06/29
2410
Fedora 20下Eclipse Ingido中配置Hadoop插件并运行Wordcount例程
Hadoop学习5--配置本地开发环境(Windows+Eclipse)
一、导入hadoop插件到eclipse 插件名称:hadoop-eclipse-plugin-2.7.0.jar 我是从网上下载的,还可以自己编译。 放到eclipse安装目录下的plugins文件夹 tip: 1、竟然没有plugins文件夹,自己在安装目录下新建了个文件夹 2、重启eclipse后,一直无法看到网上描述的结果,于是删除了eclipse安装目录下的这个文件:platform.xml(去安装目录下全局搜索),再次重启,ok。 重启eclipse->window->Preferences:
小端
2018/04/16
9680
Hadoop学习5--配置本地开发环境(Windows+Eclipse)
Eclipse连接Hadoop集群和WordCount实战
挖掘大数据
2017/12/20
2.4K0
从零开始Hadoop集群环境搭建
本篇文章将从头开始介绍Hadoop大数据平台的一系列搭建工作,主要是搭建的具体操作步骤,思想方面涉及甚少,可以自行补充 虚拟机下载安装 我使用的是VMware station12,下载地址为链接:http://pan.baidu.com/s/1geX11pL 密码:uylp 本软件为注册软件现提供一个注册码AV5R2-8LW53-484RP-H5YQZ-XU8RF,大家也可以自行百度。 centos下载 因为工作中常用的为不带可视化界面的版本,现提供一个centos6.8_64下载,地址点我 cento
听城
2018/04/27
1.1K0
从零开始Hadoop集群环境搭建
Hadoop数据分析平台项目实战(基于CDH版本集群部署与安装)
1、Hadoop的主要应用场景:   a、数据分析平台。   b、推荐系统。   c、业务系统的底层存储系统。   d、业务监控系统。 2、开发环境:Linux集群(Centos64位)+Window开发模式(window10,64位操作系统)。    使用技术:hadoop,hbase,hive,flume,oozie,sqoop,nginx,tomcat,spring,mybatis,springmvc,mysql等等。Hdfs为海量的数据提供存储,MapReduce为海量的数据提供计算。      此
别先生
2018/04/19
1.8K0
Hadoop数据分析平台项目实战(基于CDH版本集群部署与安装)
Linux巩固记录(3) hadoop 2.7.4 环境搭建
以前只在linux上配置J2EE项目执行环境,无非配置下jdk,部署tomcat,再通过docker或者jenkins自动部署上去
肖哥哥
2018/08/02
4040
hadoop伪分布式集群搭建与安装(ubuntu系统)
别先生
2018/01/02
1.3K0
hadoop伪分布式集群搭建与安装(ubuntu系统)
大数据hadoop环境搭建
tar -zxvf jdk-8u91-linux-x64.tar.gz -C ~/app
软件架构师Michael
2022/03/24
4990
Win7下Eclipse开发hadoop应用程序环境搭建
在Linux下使用安装Eclipse来进行hadoop应用开发,但是大部分Java程序员对linux系统不是那么熟悉,所以需要在windows下开发hadoop程序,经过试验,总结了如何在windows下使用Eclipse来开发hadoop程序代码。 1、需要下载hadoop的专门插件jar包   hadoop版本为2.3.0,hadoop集群搭建在centos6x上面,把插件包下载后,jar包名字为hadoop-eclipse-plugin-2.3.0,可以适用于hadoop2x系列软件版本。 2、把插件包放到eclipse/plugins目录下   为了以后方便,我这里把尽可能多的jar包都放进来了。 3、重启eclipse,配置Hadoopinstallationdirectory   如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有HadoopMap/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径。  4、配置Map/ReduceLocations   打开Windows-->OpenPerspective-->Other   选择Map/Reduce,点击OK,在右下方看到有个Map/ReduceLocations的图标,点击Map/ReduceLocation选项卡,点击右边小象图标,打开HadoopLocation配置窗口:输入LocationName,任意名称即可.配置Map/ReduceMaster和DFSMastrer,Host和Port配置成与core-site.xml的设置一致即可。   去找core-site.xml配置:   fs.default.namehdfs://name01:9000   点击"Finish"按钮,关闭窗口。点击左侧的DFSLocations—>myhadoop(上一步配置的locationname),如能看到user,表示安装成功,但是进去看到报错信息:Error:Permissiondenied:user=root,access=READ_EXECUTE,inode="/tmp";hadoop:supergroup:drwx---------。 应该是权限问题:把/tmp/目录下面所有的关于hadoop的文件夹设置成hadoop用户所有然后分配授予777权限。   cd/tmp/   chmod777/tmp/   chown-Rhadoop.hadoop/tmp/hsperfdata_root   之后重新连接打开DFSLocations就显示正常了。   Map/ReduceMaster(此处为Hadoop集群的Map/Reduce地址,应该和mapred-site.xml中的mapred.job.tracker设置相同)   (1):点击报错:   Aninternalerroroccurredduring:"ConnectingtoDFShadoopname01".   java.net.UnknownHostException:name01   直接在hostname那一栏里面设置ip地址为:192.168.52.128,即可,这样就正常打开了,如下图所示:   5、新建WordCount项目   File—>Project,选择Map/ReduceProject,输入项目名称WordCount等。   在WordCount项目里新建class,名称为WordCount,报错代码如下:InvalidHadoopRuntimespecified;pleaseclick'ConfigureHadoopinstalldirectory'orfillinlibrarylocationinputfield,报错原因是目录选择不对,不能选择在跟目录E:\hadoop下,换成E:\u\hadoop\就可以了,如下所示:   一路下一步过去,点击Finished按钮,完成工程创建,Eclipse控制台下面出现如下信息:   14-12-9下午04时03分10秒:EclipseisrunninginaJRE,butaJDKisrequired   SomeMavenpluginsmaynotworkwhenimportingprojectsorupdatingsourcefolders.   14-12-9下午04时03分13秒:Refreshing[/WordCount/pom.xml]   14-12-9下午04时03分14秒:Refreshing[/WordCount/pom.xml]   14-12-9下午04时03分14秒:Refreshing[/WordCount/pom.xml]   14-12-9下午04时03分14秒:Updatingindexcentral|http://repo1.maven.o
挖掘大数据
2018/01/17
1.2K0
大数据随记 —— Hadoop 环境搭建
在每个虚拟机的 hosts 文件后面增加自己所安装的虚拟机的 IP 地址以及主机名。
繁依Fanyi
2023/05/07
4670
大数据随记 —— Hadoop 环境搭建
hadoop运行环境搭建
森哥/洋哥hadoop系列,非常适合初学者: Hive 元数据表结构详解 HDFS学习:HDFS机架感知与副本放置策略 Yarn【label-based scheduling】实战总结(二) Yarn
大数据和云计算技术
2018/03/08
1.8K0
hadoop运行环境搭建
0基础搭建Hadoop大数据处理-编程
  Hadoop的编程可以是在Linux环境或Winows环境中,在此以Windows环境为示例,以Eclipse工具为主(也可以用IDEA)。网上也有很多开发的文章,在此也参考他们的内容只作简单的介绍和要点总结。   Hadoop是一个强大的并行框架,它允许任务在其分布式集群上并行处理。但是编写、调试Hadoop程序都有很大难度。正因为如此,Hadoop的开发者开发出了Hadoop Eclipse插件,它在Hadoop的开发环境中嵌入了Eclipse,从而实现了开发环境的图形化,降低了编程难度。在安装插件
欢醉
2018/01/22
1.2K0
0基础搭建Hadoop大数据处理-编程
搭建hadoop平台的细节点与注意点
版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
张凝可
2019/08/22
9050
搭建hadoop平台的细节点与注意点
Hadoop的安装与环境搭建
1. 下载地址:https://archive.apache.org/dist/hadoop/common/ 我下载的是hadoop-2.7.3.tar.gz版本。
星哥玩云
2022/07/14
3300
Hadoop的安装与环境搭建
Hadoop学习笔记—6.Hadoop Eclipse插件的使用
开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率。但是,它也有一些缺点,如编码、调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高,开发难度大。因此,Hadop的开发者为了降低Hadoop的难度,开发出了Hadoop Eclipse插件,它可以直接嵌入到Hadoop开发环境中,从而实现了开发环境的图形界面化,降低了编程的难度。
Edison Zhou
2018/08/20
1.7K0
Hadoop学习笔记—6.Hadoop Eclipse插件的使用
Eclipse下Hadoop的MapReduce开发之eclipse配置
    首先下载Eclipse LUNA,这里注意如果你是想在远程电脑上使用eclipse,也就是hadoop安装在linux下,而你想在win系列的电脑上连接并编写MapReduce程序,那么需要进行一项配置。
尚浩宇
2018/08/17
1.8K0
Eclipse下Hadoop的MapReduce开发之eclipse配置
相关推荐
hadoop_学习_02_Hadoop环境搭建(单机)
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文