专栏首页闵开慧Windows中Eclipse中Hadoop2.6.0配置

Windows中Eclipse中Hadoop2.6.0配置

Windows10(64位)中Eclipse Luna Service Release 2 (4.4.2 64位)中Hadoop2.6.0配置

1 系统配置

    Windows10(64位)

    Eclipse Luna Service Release 2 (4.4.2 64位)

    Hadoop2.6.0

    JDK1.8.0(64位)

    SVN1.8.6

    ANT1.9.6

2 Eclipse和Hadoop插件制作

    具体制作步骤参考文章:http://my.oschina.net/muou/blog/408543,该文章中Eclipse使用的是Juno版本,制作完全没有问题,但使用Luna版本就会有问题,制作出来的插件Eclipse无法识别。最后自己使用在网上下载的2.2.0版本插件。

    按照步骤将制作成功的插件放进Eclipse的plugin目录下,重启Eclipse即可,如果Eclipse识别该插件在Eclipse中即可看到该图标:

3 Eclipse配置

    3.1 MapReduce引入

        Window --> Show View --> Other,选择Map/Reduce Location,然后点击右键新建Hdfs链接即可。

        3.2 Eclipse中Hadoop路径配置

4 Hadoop配置

    4.1 解压Hadoop文件,在bin目录中配置hadoop.dll和winutils.exe,这两个插件下载地址:https://codeload.github.com/srccodes/hadoop-common-2.2.0-bin/zip/master。同时将winutils.exe在Windows的system32目录下放一份,然后重启电脑生效。

    4.2 Hadoop配置文件配置,在etc/hadoop下面,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,这四个文件里面的配置参数和集群中配置保持一致,否则无法在Eclipse中直接提交Mapreduce任务到集群。

5 WordCount测试

    新建一个简单的Java工程,如下配置即可正常运行:

6 项目工程文件测试

    项目工程文件测试时一直报错:

    Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z     at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)     at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:570)     at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:977)     at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:173)     at org.apache.hadoop.util.DiskChecker.checkDirAccess(DiskChecker.java:160)     at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:94)     at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.confChanged(LocalDirAllocator.java:285)     at org.apache.hadoop.fs.LocalDirAllocator$AllocatorPerContext.getLocalPathForWrite(LocalDirAllocator.java:344)     at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:150)     at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:131)     at org.apache.hadoop.fs.LocalDirAllocator.getLocalPathForWrite(LocalDirAllocator.java:115)     at org.apache.hadoop.mapred.LocalDistributedCacheManager.setup(LocalDistributedCacheManager.java:131)     at org.apache.hadoop.mapred.LocalJobRunner$Job.<init>(LocalJobRunner.java:163)     at org.apache.hadoop.mapred.LocalJobRunner.submitJob(LocalJobRunner.java:731)     at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:432)     at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285)     at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282)     at java.security.AccessController.doPrivileged(Native Method)     at javax.security.auth.Subject.doAs(Unknown Source)     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)     at org.apache.hadoop.mapreduce.Job.submit(Job.java:1282)     at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303)     at service.app.mapreduce.WordCount2.WordCount2.main(WordCount2.java:104)

        研究后发现,是工程插件配置的问题。后来发现mahout和spark两个相应的jar文件不能放在user library里面,而直接导入即可正常运行。jar文件配置如下所示:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • ERROR: org.apache.hadoop.hbase.MasterNotRunnin...

     ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times 这是为什么...

    闵开慧
  • 运行wordcount时显示Could not obtain block

    该文章接上面hadoop运行wordcount时卡住不动,接着下面 hadoop@ubuntu118:~/hadoop-1.0.2$ bi...

    闵开慧
  • Hmaster无法启动

    启动hbase时问题列表: 1 查看hbase-hadoop-master-ubuntu118.log,发现其中的错误为 2012-09-02 22:59:58...

    闵开慧
  • Exception in thread "main" java.lang.NullPointerException

    1、在window操作系统上,使用eclipse开发工具从hdfs分布式文件系统上下载文件报空指针异常解决方法: log4j:WARN No appenders...

    别先生
  • flink开发过程中遇到的问题集锦

    cannot be cast to com.google.protobuf.Message

    大数据技术与应用实战
  • Amabri hive权限设置

    DataScience
  • 0524-6.1-如何使用Cloudera Manager启用HDFS的HA

    在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,如果NameNode机器出现意外,将导致整个集群无法使用。为了解决...

    Fayson
  • java客户端无法上传文件到hdfs

    学些hadoop。遇到这个问题,查找网上好多资料,一般都是说namenode和datanode不同步导致的,或者防火墙没开50010端口,或者nameNode和...

    frontoldman
  • HBase案例 | 20000个分区导致HBase集群宕机事故处理

    这是几个月前遇到的一次HBase集群宕机事件,今天重新整理下事故分析报告。概况的说是业务方的一个10节点HBase集群支撑百TB级别的数据量,集群region数...

    大数据技术架构
  • 用java程序把本地的一个文件拷贝到hdfs上并显示进度

    把程序打成jar包放到Linux上 转到目录下执行命令 hadoop jar mapreducer.jar /home/c...

    用户5166556

扫码关注云+社区

领取腾讯云代金券