专栏首页五角钱的程序员保姆级教程:还愁不会搭建伪分布式吗?(其实很简单)

保姆级教程:还愁不会搭建伪分布式吗?(其实很简单)

作者丨五角钱的程序员 图丨pexels

  1. hadoop运行环境搭建-虚拟机安装与配置(开发重点)
  2. hadoop本地运行的两个案例。官方Grep案例、官方WordCount案例。

在上面三篇文章我们已经把基本环境搭建好了,也进行了相应的案例演示,下面我们将进入伪分布式的环境搭建,并运行实例,建议先看上面三篇文章在进行操作。看一百遍,不如手过一遍。快点拿起你的键盘和我一起操作起来吧。

1.启动HDFS并运行MapReduce程序

1. 分析

(1)配置集群

(2)启动、测试集群增、删、查

(3)执行WordCount案例

2. 执行步骤

(1)配置集群

(a)配置:hadoop-env.sh

Linux系统中获取JDK的安装路径:

[root@hadoop101 ~]# echo $JAVA_HOME
/opt/module/jdk1.8.0_162
[hadoop@hadoop101 hadoop]$ vi hadoop-env.sh

修改JAVA_HOME 路径:

export JAVA_HOME=/opt/module/jdk1.8.0_162

(b)配置:core-site.xml

[hadoop@hadoop101 hadoop]$ cd /opt/module/hadoop-2.7.2/etc/hadoop/
[hadoop@hadoop101 hadoop]$ vi core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://192.168.88.101:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

(c)配置:hdfs-site.xml

[hadoop@hadoop101 hadoop]$ vi hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

(2)启动集群

(a)格式化NameNode(第一次启动时格式化,以后就不要总格式化)

[hadoop@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format

(b)启动NameNode

[hadoop@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode

因为中途虚拟机崩了所以我换到了102节点

(c)启动DataNode

[hadoop@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

(3)查看集群

(a)查看是否启动成功

注意:jps是JDK中的命令,不是Linux命令。不安装JDK不能使用jps

(b)web端查看HDFS文件系统

http://192.168.88.102:50070/

(4)操作集群

(a)在HDFS文件系统上创建一个input文件夹

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/hadoop/input

(b)将测试文件内容上传到文件系统上

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -put wcinput/wc.input /user/hadoop/input

(c)查看上传的文件是否正确

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -ls /user/hadoop/input/
Found 1 items
-rw-r--r-- 1 hadoop supergroup 37 2020-07-15 05:14 /user/hadoop/input/wc.input
[hadoop@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/hadoop/input/wc.input
xiang
xiang
lin
lin yuan chen yuan

(d)运行MapReduce程序

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/hadoop/input /user/hadoop/output

(e)查看输出结果

命令行查看:

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -cat /user/hadoop/output/p*
chen 1
lin 2
xiang 2
yuan 2

2.启动YARN并运行MapReduce程序

1.分析

(1)配置集群在YARN上运行MR (2)启动、测试集群增、删、查 (3)在YARN上执行WordCount案例

2.执行步骤

(1)配置集群

(a)配置yarn-env.sh

配置一下JAVA_HOME

[hadoop@hadoop102 hadoop-2.7.2]$ vi etc/hadoop/yarn-env.sh

(b)配置yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.88.102</value>
</property>

(c)配置:mapred-env.sh

配置一下JAVA_HOME

(d)配置: (对mapred-site.xml.template重新命名为) mapred-site.xml

[hadoop@hadoop102 hadoop]$ cd etc/hadoop/
[hadoop@hadoop102 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[hadoop@hadoop102 hadoop]$ vi mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

(2)启动集群

(a)启动前必须保证NameNode和DataNode已经启动

(b)启动ResourceManager

[hadoop@hadoop102 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

(c)启动NodeManager

[hadoop@hadoop102 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

(3)集群操作

(a)YARN的浏览器页面查看,如图所示

http://hadoop101:8088/cluster

(b)删除文件系统上的output文件

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -rm -r /user/hadoop/output

(c)执行MapReduce程序

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/hadoop/input /user/hadoop/output

3.配置历史服务器

为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:

1.配置mapred-site.xml

[hadoop@hadoop102 hadoop-2.7.2]$ vi etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.88.102:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>192.168.88.102:19888</value>
</property>

2.启动历史服务器

[hadoop@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

3. 查看JobHistory

http://192.168.88.102:19888/jobhistory/

4.配置日志的聚集

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。

注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。

1.关闭NodeManager 、ResourceManager和HistoryManager

[hadoop@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
[hadoop@hadoop102 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
[hadoop@hadoop102 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager

开启日志聚集功能具体步骤如下:

2. 配置yarn-site.xml

[hadoop@hadoop102 hadoop-2.7.2]$ vi etc/hadoop/yarn-site.xml

在该文件里面增加如下配置。

<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>

<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

3.启动NodeManager 、ResourceManager和HistoryManager

[hadoop@hadoop102 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
[hadoop@hadoop102 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
[hadoop@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

4.删除HDFS上已经存在的输出文件

[hadoop@hadoop102 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/hadoop/output

5.执行WordCount程序

[hadoop@hadoop102 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/hadoop/input /user/hadoop/output

6.查看日志,如图所示

http://192.168.88.102:19888/jobhistory

END

本文分享自微信公众号 - 五角钱的程序员(xianglin965),作者:五角钱的程序员

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-22

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • HDFS的Shell操作(开发重点)

    bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。

    用户7656790
  • 通过思维导图,让女朋友搭建一个hadoop完全分布式

    女朋友:你上次教我搭建伪分布式,我已经会搭建啦。只用了一台机器就搞定了呀,想学完全分布式的搭建。

    用户7656790
  • hadoop本地运行的两个案例。官方Grep案例、官方WordCount案例。

    在前两篇文章已经把虚拟机环境和jdk、hadoop安装好了,下面我们来看看,hadoop本地运行的两个案例。官方Grep案例、官方WordCount案例。

    用户7656790
  • hadoop分布式集群搭建

    程序员同行者
  • centos7 hadoop 集群安装配置

    转载请务必注明原创地址为:http://dongkelun.com/2018/04/05/hadoopClusterConf/

    董可伦
  • /tmp/hadoop-hadoop-namenode.pid: Permission denied

    starting namenode, logging to /home/hadoop/hadoop-1.0.2/libexec/../logs/hadoo...

    闵开慧
  • HDFS的Shell操作(开发重点)

    bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类。

    用户7656790
  • 通过思维导图,让女朋友搭建一个hadoop完全分布式

    女朋友:你上次教我搭建伪分布式,我已经会搭建啦。只用了一台机器就搞定了呀,想学完全分布式的搭建。

    用户7656790
  • Hadoop(2)——HDFS(分布式文件系统)

    英文全称是The Hadoop Distributed File System官方地址http://hadoop.apache.org/docs/stable/...

    羊羽shine
  • hadoop伪分布式环境搭建

      由于博主之前没有从事过hadoop相关的开发工作,最近正好遇到一个hadoop相关的项目,于是决定自学研究一下,博主整理的东西绝对是最全最详细的,不要问为什...

    会说话的丶猫

扫码关注云+社区

领取腾讯云代金券