专栏首页波波烤鸭Hadoop04【集群环境搭建】

Hadoop04【集群环境搭建】

  因为伪分布式环境搭建没啥意义,所以我们直接来搭建hadoop的集群环境,

一、安装文件

1.下载文件

链接:https://pan.baidu.com/s/1OXiW1i3gD6fVvrFX7NXsJg 提取码:nyzk 下载内容包括源文件和编译的文件。

2.上传解压缩

  文件上传在/root/apps/目录下.解压缩并重命名

进入hadoop目录中

目录结构介绍

目录

说明

bin

自身的一些操作命令

etc

配置文件在该目录下

include

c语言本地库的一些东邪

lib

本地库

libexec

目录下存放的是hadoop的配置脚本

sbin

系统管理启动的命令

share

文档和相关jar包

二、修改配置文件

  hadoop配置文件存放在etc/hadoop文件夹下,

1.hadoop-env.sh

  设置具体的jdk路径,路径需要写死,因为在集群环境中通过$JDK_HOME获取不到系统环境变量中的信息。

2.core-site.xml

  指定NameNode的地址和hadoop运行时产生文件的存储目录。

    <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
    <property>
          <name>fs.defaultFS</name>
          <value>hdfs://hadoop-node01:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/root/apps/hadoop/hdfsdata</value>
    </property>

3.hdfs-site.xml

  指定副本的存储个数,及secondaryNameNode的存储地址

  <!-- 指定HDFS副本的数量 -->
  <property>
        <name>dfs.replication</name>
        <value>1</value>
  </property>
  <!--指定secondaryNameNode的地址 -->
  <property>
        <name>dfs.secondary.http.address</name>
        <value>hadoop-node01:50090</value>
  </property>

4.mapred-site.xml

  首先需要将文件名称修改了。原文件名称为mapred-site.xml.template。指定MapReduce的资源调度方式为yarn。

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

5.yarn-site.xml

  指定ResourceManager(yarn的老大)的地址和reduce获取数据的方式shuffle。

        <!-- 指定YARN的老大(ResourceManager)的地址 -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop-node01</value>
        </property>
        <!-- reducer获取数据的方式 -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

6.slaves

  指定DataNode的地址。

三、内容分发

  在hadoop-node01节点配置完成后,我们可以一次性将hadoop文件夹分发给其他几个节点。

 scp -r hadoop hadoop-node02:/root/apps/
 scp -r hadoop hadoop-node03:/root/apps/
 scp -r hadoop hadoop-node04:/root/apps/

四、环境变量配置

  配置hadoop的环境变量,便于操作。

export HADOOP_HOME=/root/apps/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

其他几个节点分发或者配置下

source /etc/profile

五、HDFS格式化

  只需要在NameNode的节点上面格式化一次就可以了

hadoop namenode -format

注意只需要格式一次,在nameNode上格式化。

六、启动hdfs

  在hadoop-node01上执行

start-dfs.sh

其他节点jps查看启动情况

测试:http://192.168.88.61:50070

启动成功~

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Hadoop05【命令操作】

      上篇文章我们成功的搭建了hadoop的集群环境,本文来介绍下hadoop的基本操作

    用户4919348
  • MapReduce之Eclipse本地运行

      前面我们介绍的wordcount案例是在Eclipse中写好代码,然后打成jar包,然后在Linux环境中执行的,这种方式在我们学习和调试的时候就显得非常的...

    用户4919348
  • Maven教程1(介绍安装和配置)

      之前学Spring和SpringMVC的时候我们需要单独自己去找相关的jar.这些jar包我们还能通过官网能找到,但是比如我们要找JSTL或者hiberna...

    用户4919348
  • 在单台云主机搭伪分布式hadoop环境

    Hadoop是大数据的基础框架模型,处理大数据,不应只谈偏向业务环境的大数据(如超市买婴儿尿不湿同时还应该推荐啤酒的经典案例),作为解决方案经理,技术是不能缺少...

    希望的田野
  • Hadoop集群搭建Linux环境准备基础配置安装HadoopHA集群安装HIVE安装MySQL安装HBASE安装Flume问题总结

    本文主要讲解了Hadoop集群环境的搭建过程,实际应用中应该不会这样做,而是通过一些管理工具进行安装,比如可视化安装:Ambari。

    spilledyear
  • Hadoop-2.7.4 集群快速搭建

    Hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力...

    搜云库
  • Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

    自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我...

    Edison Zhou
  • 实战CentOS系统部署Hadoop集群服务

    版权声明:本文为木偶人shaon原创文章,转载请注明原文地址,非常感谢。 https://blog...

    shaonbean
  • Hadoop完全分布式集群搭建

    集群中只有mapred-site.xml.template,可以从这个文件进行复制

    CoderJed
  • ubuntu中配置hadoop

    单机模式部署 一、Jdk安装 命令:sudo apt-get install openjdk-6-jdk 目录:/usr/l...

    闵开慧

扫码关注云+社区

领取腾讯云代金券