专栏首页linda大数据大数据第二天 Hadoop3.2.1
原创

大数据第二天 Hadoop3.2.1

一、准备三台虚拟机 配置4G + 50G + 2核

1.安装

2.配置静态网络

IPADDR=

GATEWAY=

NETMASK=255.255.255.0

DNS1=8.8.8.8

桥接模式 & service network start & ip addr & ping www.baidu.com

3.关闭防火墙

systemctl disable firewalld.service

4.同步时间

yum -y install ntp ntpdate

ntpdate cn.pool.ntp.org

vi /etc/sysconfig/clock

ZONE="Asia/Shanghai"

UTC=false

ARC=false

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

ntpdate 192.168.2.102

/sbin/hwclock --systohc

date

5.修改主机名

vi /etc/hostname

hadoop3

vi /etc/sysconfig/network

192.168.2.117 hadoop3

reboot

6.vi /etc/hosts

192.168.2.109 hadoop1

192.168.2.108 hadoop2

192.168.2.117 hadoop3

7.创建useradd

useradd liuli

passwd liuli

vi /etc/sudoe

8.创建/opt/module/

/opt/software/

chown liuli:liuli module software

9.上传 jdk8 & hadoop-2.7.2

解压 & 配置环境变量

二.单节点启动

(1)参考官网进行配置

下载地址:hadoop的各种版本:https://archive.apache.org/dist/hadoop/common/

三.伪分布式启动

(1)

[图片]

补充修改如下:

四.完全分布式启动

(1) 先决条件依赖java 和 ssh

jdk安装

ssh是网络加密协议

(2) 部署规划

hadoop1

hadoop2

hadoop3

HDFS

NameNode/DataNode

DataNode

SecondaryNameNode/DataNode

YARN

NodeManager

ResourceManager/NodeManager

NodeManager

(3) 配置如下

109机器配置如下:

(4)把hadoop1上的jdk + hadoop + profile分发到hadoop2 和 hadoop3

cp命令 本地拷贝 cp -r /root/a /opt/a

scp命令 远程考本 scp -r hadoop1:/root/a hadoop2:/root/a

rsync命令 必须有一端是本地rsync -r /opt/hadoop hadoop2:/opt

rsync必须在hadoop1 hadoop2 hadoop3都存在这个命令才可以进行传输

module创建好,并且权限赋值好

rsync -r /opt/module/ hadoop2:/opt/module

rsync -r /opt/module/ hadoop3:/opt/module

sudo rsync /etc/profile hadoop2:/etc/profile

sudo rsync /etc/profile hadoop3:/etc/profile

(5)集群但节点启动

如果有100台机器,怎么办呢?需要群集启动~~~~~

(6)配置 ssh免秘钥登陆

在hadoop1 hadoop2 hadoop3上执行如下命令:

ssh-keygen -t rsa

ssh-copy-id hadoop1

ssh-copy-id hadoop2

ssh-copy-id hadoop3

(7)群起集群

在hadoop1配置并且分发如下:

启动集群

hdfs的界面如下:

yarn的界面如下:

SecondaryNameNode界面如下:

(8)集群测试如下:

磁盘上新建一个文件输入内容:

执行如下命令进行运行wordcount案例.

以下配置需要同步到hadoop1 hadoop2 hadoop3上。

(9) 启动集群的方式

(10)才过的坑

wordcount案例如果还是不能运行请修改配置:https://blog.csdn.net/skyupward/article/details/103641962

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 大数据第四天 Hadoop3.2.1

    (1)分发 hadoop jdk profile 并且生效 并且删除hadoop上的数据即可

    weifangliuli
  • 大数据第三天 Hadoop3.2.1

    https://blog.csdn.net/qq_43412289/article/details/89241271

    weifangliuli
  • 大数据第一天 Hadoop3.2.1

    weifangliuli
  • 移动端诊断工具之iNetTools

    其他移动端诊断工具可查看:https://cloud.tencent.com/developer/article/1489051

    邪恶の大灰
  • SAP ABAP实用技巧介绍系列之 How is configuration data loaded

    Jerry Wang
  • day74-<项目>-forms.ModelForm的使用

    少年包青菜
  • Flutter Start

    image.png FLUTTER_STORAGE_BASE_URL https://storage.flutter-io.cn

    spilledyear
  • Intellij IDEA 使用教程

    正所谓工欲善其事,必先利其器,身为码农的我们,拥有得心应手的编辑器就好比如鱼得水,在万行代码中取bug首级就如观鱼赏花!IDEA就堪称是当世之神兵,自诩为最智能...

    贪挽懒月
  • 小白也能看懂的BP反向传播算法之Into-BackpropagationBackpropagation待续

    在上一篇文章小白也能看懂的BP反向传播算法之Towards-Backpropagation,我们学习了如何利用函数的微分来更新变量值,是函数值发生相应的变化! ...

    desperate633
  • vue 组件

    用户5760343

扫码关注云+社区

领取腾讯云代金券