专栏首页我是攻城师Hadoop问题笔记之五问五答

Hadoop问题笔记之五问五答

接着上次,散仙所写的文章,在Win7上的eclipse中使用Apache Hadoop2.2.0对接CDH5.3的Hadoop2.5调试时,很顺利,所有的问题全部KO,今天散仙把项目整理了一下,上传到svn上,这次运行的地方是正宗的Apache社区版本Hadoop2.2的集群上(公司有两种hadoop集群(CDH的和Apache的))在使用过程中遇到一下几个问题,特记于此: 问题清单:

修真门槛

障碍描述

1

手写MapReduce中如何指定hadoop开启递归文件夹功能?

2

关于在Hadoop中使用配置文件,或者如何共享配置文件?

3

我在自己写的Mapper或者Reducer中使用Log4j记录的log究竟在哪里可以看到?

4

出现Connection Refused异常时,该如何解决?

5

如何启用hadoop的JobHistoryServer?

问题一: 默认的hadoop的inputpath的路径,是只能读取到一级的,也就是说你这个目录下只能放文件,不能在放目录了,如果你放了目录,那么hadoop就会抛出异常,说当前path不是一个文件,所以你可以开启递归读取的功能,在main方法中的驱动类中,加入代码如下:

Java代码

FileInputFormat.setInputDirRecursive(job, true);//设置可以递归读取目录

问题二: 这个问题在hadoop也比较常见,关于共享文件的配置,请参考,散仙以前的 http://qindongliang.iteye.com/blog/2038108文章 在这里,散仙扩展另外一个问题,关于如何在hadoop使用共享变量,比如初始化时,我有一个Map记录了一些公用的信息,在MapReduce的执行过程中,每个map或reduce方法,都有可能访问这个HashMap来获取一些信息,那么这个Map应该在什么时候初始化? 答案: 是在Hadoop的setup方法时,初始化才有效,如果你在main方法的第一行代码,就初始化了这个HashMap,那么在mapreduce过程中去访问这个变量是不会生效的,因为main方法启动jvm和Hadoop的jvm不是同一个jvm,所以就相当于刻舟求剑了,这一点需要注意下,只有在setup里面初始化的资源,才是和map或者reduce方法,共享同一个jvm 问题三: 关于如何在hadoop中,查看我们使用log4j记录的日志信息,请参考,散仙以前的http://qindongliang.iteye.com/blog/2038096文章 问题四: 出现Connection Refused异常时,如何解决? 这个问题,hadoop官网已经给了很详细的解释了,感兴趣的朋友,请参考这个链接:https://wiki.apache.org/hadoop/ConnectionRefused 出现这个问题的原因,一般不是程序代码的问题,而是hadoop的集群所在的linux的hosts出现了问题,关注点: (1)检测linux的/etc/host文件的IP映射是否有问题 (2)SSH的无秘钥的登陆,是否出现问题 (3)hadoop的/etc/hadoop的配置文件,是否所有的节点都一致 问题五: 可能有的朋友,还不知道JobHistoryServer这个东东是干啥的,没关系,大家在使用hadoop时在8088的界面上,是否经常有history链接的页面打不开? 你猜的没错,这个server就是提供了一个hadoop基于Web页面查看log的一个http链接,它在hadoop的8088的界面上的超链接如下图:

具体的配置和启动,参考如下代码:

Java代码

sbin/mr-jobhistory-daemon.sh start historyserver

#yarn-site.xml
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>86400</value>
  </property>
  <property>
    <name>yarn.log-aggregation.retain-check-interval-seconds</name>
    <value>864000</value>
  </property>


$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver
stop-yarn.sh
start-yarn.sh

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

比如,散仙在setup方法里,记录了一些log,那么我就可以通过这个链接地址,在web界面上看到:

总结: 成长的过程,就是解决问题积累的过程,越是怕解决问题,就越是会出现问题,进而,我们的收获就越少,所以,我们要多总结,多思考,多分享!

本文分享自微信公众号 - 我是攻城师(woshigcs)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2015-04-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • hadoop2.2源码编译后不支持bzip2压缩解决办法

    我是攻城师
  • 一次bug死磕经历之Hbase堆内存小导致regionserver频繁挂掉 编辑

    我是攻城师
  • Bug死磕之hue集成的oozie+pig出现资源任务死锁问题

    我是攻城师
  • centos7 hadoop 集群安装配置

    转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/hadoopClusterConf/

    董可伦
  • hadoop-What-How-Why

    The Apache Hadoop software library is a framework that allows for the distr...

    字母哥博客
  • 教你玩转Hadoop分布式集群搭建,进击大数据

    终于要开始玩大数据了,之前对haoop生态几乎没有太多的了解,现在赶鸭子上架,需要完全使用它来做数据中心,这是我的haoop第一篇文章,以后估计会写很多大数据相...

    用户1263954
  • Win7下Eclipse开发hadoop应用程序环境搭建

    在Linux下使用安装Eclipse来进行hadoop应用开发,但是大部分Java程序员对linux系统不是那么熟悉,所以需要在windows下开发hadoop...

    挖掘大数据
  • 保姆级教程:还愁不会搭建伪分布式吗?(其实很简单)

    在上面三篇文章我们已经把基本环境搭建好了,也进行了相应的案例演示,下面我们将进入伪分布式的环境搭建,并运行实例,建议先看上面三篇文章在进行操作。看一百遍,不如手...

    用户7656790
  • Hadoop hdfs完全分布式搭建教程

    1、安装环境 ①、四台Linux CentOS6.7 系统   hostname                ipaddress              ...

    IT可乐
  • hadoop伪分布式环境搭建

      由于博主之前没有从事过hadoop相关的开发工作,最近正好遇到一个hadoop相关的项目,于是决定自学研究一下,博主整理的东西绝对是最全最详细的,不要问为什...

    会说话的丶猫

扫码关注云+社区

领取腾讯云代金券