一、准备三台虚拟机 配置4G + 50G + 2核
1.安装
2.配置静态网络
IPADDR=
GATEWAY=
NETMASK=255.255.255.0
DNS1=8.8.8.8
桥接模式 & service network start & ip addr & ping www.baidu.com
3.关闭防火墙
systemctl disable firewalld.service
4.同步时间
yum -y install ntp ntpdate
ntpdate cn.pool.ntp.org
vi /etc/sysconfig/clock
ZONE="Asia/Shanghai"
UTC=false
ARC=false
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
ntpdate 192.168.2.102
/sbin/hwclock --systohc
date
5.修改主机名
vi /etc/hostname
hadoop3
vi /etc/sysconfig/network
192.168.2.117 hadoop3
reboot
6.vi /etc/hosts
192.168.2.109 hadoop1
192.168.2.108 hadoop2
192.168.2.117 hadoop3
7.创建useradd
useradd liuli
passwd liuli
vi /etc/sudoe
8.创建/opt/module/
/opt/software/
chown liuli:liuli module software
9.上传 jdk8 & hadoop-2.7.2
解压 & 配置环境变量
二.单节点启动
(1)参考官网进行配置
下载地址:hadoop的各种版本:https://archive.apache.org/dist/hadoop/common/
三.伪分布式启动
(1)
[图片]
补充修改如下:
四.完全分布式启动
(1) 先决条件依赖java 和 ssh
jdk安装
ssh是网络加密协议
(2) 部署规划
hadoop1 | hadoop2 | hadoop3 | |
---|---|---|---|
HDFS | NameNode/DataNode | DataNode | SecondaryNameNode/DataNode |
YARN | NodeManager | ResourceManager/NodeManager | NodeManager |
(3) 配置如下
109机器配置如下:
(4)把hadoop1上的jdk + hadoop + profile分发到hadoop2 和 hadoop3
cp命令 本地拷贝 cp -r /root/a /opt/a
scp命令 远程考本 scp -r hadoop1:/root/a hadoop2:/root/a
rsync命令 必须有一端是本地rsync -r /opt/hadoop hadoop2:/opt
rsync必须在hadoop1 hadoop2 hadoop3都存在这个命令才可以进行传输
module创建好,并且权限赋值好
rsync -r /opt/module/ hadoop2:/opt/module
rsync -r /opt/module/ hadoop3:/opt/module
sudo rsync /etc/profile hadoop2:/etc/profile
sudo rsync /etc/profile hadoop3:/etc/profile
(5)集群但节点启动
如果有100台机器,怎么办呢?需要群集启动~~~~~
(6)配置 ssh免秘钥登陆
在hadoop1 hadoop2 hadoop3上执行如下命令:
ssh-keygen -t rsa
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3
(7)群起集群
在hadoop1配置并且分发如下:
启动集群
hdfs的界面如下:
yarn的界面如下:
SecondaryNameNode界面如下:
(8)集群测试如下:
磁盘上新建一个文件输入内容:
执行如下命令进行运行wordcount案例.
以下配置需要同步到hadoop1 hadoop2 hadoop3上。
(9) 启动集群的方式
(10)才过的坑
wordcount案例如果还是不能运行请修改配置:https://blog.csdn.net/skyupward/article/details/103641962
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。