Hadoop完全分布式集群搭建


环境准备


1. 集群规划

2. 安装步骤

(1) 把hadoop安装包上传到服务器并解压

tar zxvf hadoop-2.6.5.tar.gz -C /home/hadoop/apps/

(2) 修改 hadoop-env.sh、mapred-env.sh、yarn-env.sh 这三个配置文件,添加JAVA_HOME

hadoop的配置文件在HADOOP_HOME/etc/hadoop/下

export JAVA_HOME=/usr/local/jdk1.8.0_73

(3) 修改 core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoopdata</value>
    </property>
</configuration>

(4) 修改 hdfs-site.xml

<configuration>
    <!--
        这两个配置用于指定namenode和datanode存放数据的位置
        如果不指定,数据会存放到core-site.xml中配hadoop.tmp.dir目录下
    -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoopdata/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoopdata/data</value>
    </property>
    <!--配置数据副本数,不要超过datanode节点数-->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <!--指定secondarynamenode所在节点-->
    <property>
        <name>dfs.secondary.http.address</name>
        <value>node02:50090</value>
    </property>
</configuration>

(5) 修改 mapred-site.xml

集群中只有mapred-site.xml.template,可以从这个文件进行复制

cp mapred-site.xml.template mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(6) 修改 yarn-site.xml

<configuration>
<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>node03</value>
</property>
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>
</configuration>

(7) 修改 slaves 配置文件,指定DataNode所在的节点

node02
node03
node04

(8) 把hadoop安装包分发给其他节点

[hadoop@node01 hadoop]# scp -r /home/hadoop/apps/hadoop-2.6.5 node02:/home/hadoop/apps/
[hadoop@node01 hadoop]# scp -r /home/hadoop/apps/hadoop-2.6.5 node03:/home/hadoop/apps/
[hadoop@node01 hadoop]# scp -r /home/hadoop/apps/hadoop-2.6.5 node04:/home/hadoop/apps/

(9) 给每个节点配置HADOOP_HOME环境变量

vim ~/.bash_profile

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

(10) 在namenode主节点(node01)上格式化文件系统

[hadoop@node01 ~]# hdfs namenode -format

看到以下信息说明格式化成功:

(11) 在namenode主节点(node01)上启动hdfs系统

[hadoop@node01 ~]# start-dfs.sh

(12) 在resourcemanager所在节点(node03)上启动yarn

[hadoop@node03 ~]# start -yarn.sh

3. 验证集群是否搭建成功

(1) 查看进程是否全部启动

[hadoop@node01 ~]# jps
4000 NameNode
4281 Jps

[hadoop@node02 ~]# jps
3442 SecondaryNameNode
3289 DataNode
3375 NodeManager
3647 Jps

[hadoop@node03 ~]# jps
2945 DataNode
3019 ResourceManager
3118 NodeManager
3919 Jps

[hadoop@node04 ~]# jps
2899 DataNode
2984 NodeManager
3149 Jps

(2) 访问WEB页面

(3) 执行hdfs命令或运行一个mapreduce程序测试

# 上传一个文件
[hadoop@node01 ~]# hdfs dfs -put ./install.log /
# 执行一个mapreduce例子程序
[hadoop@node01 mapreduce]# pwd
/home/hadoop/apps/hadoop-2.6.5/share/hadoop/mapreduce
[root@node02 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.6.5.jar pi 5 5

文件上传成功:

任务成功运行:

到这里,hadoop完全分布式集群就已经搭建成功了!

4. 如果hadoop集群需要重装,按以下步骤进行

(1) 删除每个机器中的hadoop日志

日志默认在HADOOP_HOME/logs下,如果不删除,日志文件会越积累越多,占用磁盘

(2) 删除原来的namenode和datanode产生的数据和文件

删除你配置的hadoop.tmp.dir这个目录,如果你配置了dfs.datanode.data.dirdfs.datanode.name.dir这两个配置,那么把这两个配置对应的目录也删除

(3) 再重新修改hadoop配置文件后,按照安装时的步骤进行即可

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏技术专栏

Hadoop 伪分布式安装部署

使得环境变量生效: source ~/.bash_profile 验证java是否配置成功: java -v 详细请参考 http://blog.csdn....

37620
来自专栏黑泽君的专栏

Struts2的下载和安装

  使用Struts2框架,进行Web开发,或者运行Struts2的程序,必须,先下载并安装好Struts2    从Struts2的官网中进行下载  htt...

15820
来自专栏IT可乐

Hadoop hdfs完全分布式搭建教程

1、安装环境 ①、四台Linux CentOS6.7 系统   hostname                ipaddress              ...

24060
来自专栏俗人笔记

Nginx+PHP php文件404错误的一个可能原因

网站本来是nginx + php-fpm socket的方式跑的,nginx是自己编译安装了。昨天尝试把网站加上https,就根据https://certbot...

43130
来自专栏Java成神之路

hbase_异常_02_hbase无法访问16010端口

上一个异常解决了之后,已经能正常启动hbase了,也能正常使用hbase shell  ,但是无法通过浏览器访问 16010端口。

17520
来自专栏Hadoop实操

如何使用Nginx实现CDSW的跨网段访问

在企业安装了CDSW后,由于服务安装在生产网络,考虑到集群的安全企业不允许将生产环境的网络直接放通给办公网或外网访问,如果需要在办公网或是外网访问则需要通过反向...

40940
来自专栏菩提树下的杨过

hadoop: hbase1.0.1.1 伪分布安装

环境:hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3 安装步骤: 一、下载解压 到官网 htt...

268100
来自专栏大数据和云计算技术

hadoop运行环境搭建

森哥/洋哥hadoop系列,非常适合初学者: Hive 元数据表结构详解 HDFS学习:HDFS机架感知与副本放置策略 Yarn【label-based sch...

397110
来自专栏闵开慧

ubuntu_hadoop 部署笔记

单机模式部署 一、Jdk安装 命令:sudo apt-get install openjdk-6-jdk 目录:/usr/l...

33790
来自专栏about云

各个版本Linux单节点伪分布安装CDH5.1.X及提交wordcount到yarn高可靠文档

问题导读: 1.安装cdh5伪分布配置文件在什么位置? 2.不同的操作系统,cdh5的安装过程都包含哪些流程? 3.在yarn上运行wordcount都需要哪...

28260

扫码关注云+社区

领取腾讯云代金券