大数据第二天 Hadoop3.2.1

一、准备三台虚拟机 配置4G + 50G + 2核

1.安装

2.配置静态网络

IPADDR=

GATEWAY=

NETMASK=255.255.255.0

DNS1=8.8.8.8

桥接模式 & service network start & ip addr & ping www.baidu.com

3.关闭防火墙

systemctl disable firewalld.service

4.同步时间

yum -y install ntp ntpdate

ntpdate cn.pool.ntp.org

vi /etc/sysconfig/clock

ZONE="Asia/Shanghai"

UTC=false

ARC=false

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

ntpdate 192.168.2.102

/sbin/hwclock --systohc

date

5.修改主机名

vi /etc/hostname

hadoop3

vi /etc/sysconfig/network

192.168.2.117 hadoop3

reboot

6.vi /etc/hosts

192.168.2.109 hadoop1

192.168.2.108 hadoop2

192.168.2.117 hadoop3

7.创建useradd

useradd liuli

passwd liuli

vi /etc/sudoe

8.创建/opt/module/

/opt/software/

chown liuli:liuli module software

9.上传 jdk8 & hadoop-2.7.2

解压 & 配置环境变量

二.单节点启动

（1）参考官网进行配置

下载地址:hadoop的各种版本：https://archive.apache.org/dist/hadoop/common/

三.伪分布式启动

(1)

[图片]

补充修改如下:

四.完全分布式启动

(1) 先决条件依赖java 和 ssh

jdk安装

ssh是网络加密协议

(2) 部署规划

(3) 配置如下

109机器配置如下：

(4)把hadoop1上的jdk + hadoop + profile分发到hadoop2 和 hadoop3

cp命令 本地拷贝 cp -r /root/a /opt/a

scp命令 远程考本 scp -r hadoop1:/root/a hadoop2:/root/a

rsync命令 必须有一端是本地rsync -r /opt/hadoop hadoop2:/opt

rsync必须在hadoop1 hadoop2 hadoop3都存在这个命令才可以进行传输

module创建好，并且权限赋值好

rsync -r /opt/module/ hadoop2:/opt/module

rsync -r /opt/module/ hadoop3:/opt/module

sudo rsync /etc/profile hadoop2:/etc/profile

sudo rsync /etc/profile hadoop3:/etc/profile

(5)集群但节点启动

如果有100台机器，怎么办呢？需要群集启动～～～～～

(6)配置 ssh免秘钥登陆

在hadoop1 hadoop2 hadoop3上执行如下命令：

ssh-keygen -t rsa

ssh-copy-id hadoop1

ssh-copy-id hadoop2

ssh-copy-id hadoop3

(7)群起集群

在hadoop1配置并且分发如下:

启动集群

hdfs的界面如下：

yarn的界面如下：

SecondaryNameNode界面如下：

(8)集群测试如下：

磁盘上新建一个文件输入内容:

执行如下命令进行运行wordcount案例.

以下配置需要同步到hadoop1 hadoop2 hadoop3上。

(9) 启动集群的方式

(10)才过的坑

wordcount案例如果还是不能运行请修改配置：https://blog.csdn.net/skyupward/article/details/103641962