专栏首页用户3288143的专栏【快速入门大数据】Hadoop分布式集群搭建

【快速入门大数据】Hadoop分布式集群搭建

文章目录

配置三台虚拟机环境

复制三台虚拟机

#修改hostname
vi /etc/hostname
hadoop01

#设置全局ip
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.210.121 hadoop01
192.168.210.122 hadoop02
192.168.210.123 hadoop03


#设置新的ip
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
hadoop01
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
NAME="eno16777736"
UUID="7490940a-d84f-4b04-b1dc-a00d63563bae"
DEVICE="eno16777736"
ONBOOT="yes"
IPADDR="192.168.210.121"
PREFIX="24"
GATEWAY="192.168.210.2"
DNS1="8.8.8.8"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_PRIVACY="no"

ssh免密登录

ssh-keygen -t rsa
一直回车,就会生成一个密钥

将密钥拷贝给远程的主机:
ssh-copy-id slave1

连接远程主机:
ssh slave1
退回到本机:
exit
分别配置三台机器的免密登录,记得给本机也发一次密钥。

JDK和Hadoop

解压并配置环境变量

export JAVA_HOME=/root/software/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/root/software/hadoop-2.6.0-cdh5.7.0
export PATH=$HADOOP_HOME/bin:$PATH

修改hadoop配置文件 /root/software/hadoop-2.6.0-cdh5.7.0/etc/hadoop

vi hadoop-env.sh

export JAVA_HOME=/root/software/jdk1.8.0_91

vi core-site.xml (端口号也有配8020的)

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>

vi hdfs-site.xml 此时三台虚拟机

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/root/data/tmp/dfs</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/root/data/tmp/dfs/data</value>
    </property>
</configuration>

vi yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
    </property>

vi mapred-site.xml (单独复制模板)

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

vi slaves (从节点)

hadoop01
hadoop02
hadoop03

分发到hadoop02、hadoop03

scp -r hadoop-2.6.0-cdh5.7.0 hadoop03:$PWD
注意hdfs的临时目录
data]# mkdir tmp

启动

#格式化NNnamenode,只在虚拟机hadoop01
/root/software/hadoop-2.6.0-cdh5.7.0/bin
./hdfs namenode -format

#启动all
/root/software/hadoop-2.6.0-cdh5.7.0/sbin
./start-all.sh

验证jps

hadoop01
3193 NameNode
3284 DataNode
3464 SecondaryNameNode
3705 NodeManager
3610 ResourceManager

hadoop02
3352 NodeManager
3257 DataNode

hadoop03
3352 NodeManager
3257 DataNode

url验证 hadoop http://hadoop01:50070

yarn http://hadoop01:8088/

分布式节点下实战

日志分析部署到分布式下

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!
本文分享自作者个人站点/博客:https://blog.csdn.net/weixin_43469680复制
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • 大数据入门:Hadoop伪分布式集群环境搭建教程

    在大数据的学习过程中,对于集群的掌握,从理论到实操都是要熟练的。然而很多小伙伴在学习之初,往往遇到这样那样的问题。今天我们就从大数据入门的角度,来分享一份Had...

    成都加米谷大数据
  • hadoop分布式集群搭建

    程序员同行者
  • Hadoop分布式集群搭建

    Hadoop分布式集群和前面的伪分布式安装方法类似,Hadoop用户创建,ssh配置,java环境安装,Hadoop安装等过程查看前一篇:Hadoop的安装和使...

    foochane
  • Hadoop-2.7.4 集群快速搭建

    Hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力...

    搜云库
  • Hadoop(三)搭建Hadoop全分布式集群

      上一篇介绍了伪分布式集群的搭建,其实在我们的生产环境中我们肯定不是使用只有一台服务器的伪分布式集群当中的。接下来我将给大家分享一下全分布式集群的搭建!

    大道七哥
  • Hadoop分布式集群环境搭建

    之前我们已经介绍了如何在单机上搭建伪分布式的Hadoop环境,而在实际情况中,肯定都是多机器多节点的分布式集群环境,所以本文将简单介绍一下如何在多台机器上搭建H...

    端碗吹水
  • Hadoop伪分布式集群搭建

    CoderJed
  • Hadoop完全分布式集群搭建

    用途栏中,也可以把namenode,secondaryNamenode及jobTracker

    星哥玩云
  • Hadoop完全分布式集群搭建

    准备了四个服务器,IP为192.168.0.236、192.168.0.237、192.168.0.238、192.168.0.239,其中192.168.0....

    万猫学社
  • 手动搭建Hadoop分布式集群

    相比Cloudera Manager的安装方式,手动搭建Hadoop分布式集群能让我们了解Hadoop的详细配置,有利于我们学习HDFS和YARN的工作原理,初...

    soundhearer
  • Hadoop完全分布式集群搭建

    集群中只有mapred-site.xml.template,可以从这个文件进行复制

    CoderJed
  • hadoop搭建完全分布式集群

    后面的启动步骤可以用一步来代替,进入hadoop安装目录的sbin目录,执行:start-dfs.sh 。但建议还是按部就班来执行,比较可靠。

    许喜朝
  • TiDB - 快速入门,集群搭建

    官方快速入门教程:https://docs.pingcap.com/zh/tidb/stable/quick-start-with-tidb 18年10月写的...

    4xx.me
  • 带你快速搭建Hadoop的HA集群!

    相信在看了上一篇博客《带你快速认识NamenodeHA和Yarn HA,为搭建HadoopHA集群打下基础!》后,大家一定对于如何搭建HA集群非...

    大数据梦想家
  • 基于Docker的Hadoop集群快速搭建

    /24的意思是,子网掩码255.255.255.0 @后面的ip为Docker容器宿主机的网关

    程裕强
  • 如何搭建Hadoop伪分布式集群?

    如何搭建Hadoop伪分布式集群,本文将详细介绍。

    挖掘大数据
  • Hadoop(二)搭建伪分布式集群

    前言   前面只是大概介绍了一下Hadoop,现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享,先要看一下效果吧! 一...

    用户1195962
  • 教你玩转Hadoop分布式集群搭建,进击大数据

    终于要开始玩大数据了,之前对haoop生态几乎没有太多的了解,现在赶鸭子上架,需要完全使用它来做数据中心,这是我的haoop第一篇文章,以后估计会写很多大数据相...

    用户1263954
  • Hadoop(二)搭建伪分布式集群

      前面只是大概介绍了一下Hadoop,现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享,先要看一下效果吧!

    大道七哥

扫码关注腾讯云开发者

领取腾讯云代金券