实验 1/13-Hadoop完全分布式

1、环境要求

1:CentOS6.8

2:jdk1.8

3:hadoop2.7.x

【以上为公司统一要求】

2:配置要求

1:关闭且禁用防火墙

#servive iptables stop

#chkconfig iptables off

2:配置主机名称

# vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=hyxy201

设置好以后,重新启动CentOS

3:配置静态ip地址

为了多台虚拟机可以实现通讯,我们依然需要配置Host Only的网卡。配置静态地址如:192.168.56.201。

4:配置hosts文件:

192.168.56.201hadoop201

5:配置ssh无密码登录

$ ssh-keygen -t rsa

$ ssh-copy-id hostname

3:安装jdk

$ tar -zxf jdk1.8.162.tar.gz -C /usr/

配置JDK环境变量:

export JAVA_HOME=/usr/jdk1.8.0_162

export PATH=$PATH:$JAVA_HOME/bin

配置JDK生效,

$ source /etc/profile

4:配置完全分布式

完全分布式的配置单:

配置文件内容具体如下:

hadoop-env.sh文件:

export JAVA_HOME=/usr/jdk1.8.0_162

core-site.xml文件如下:

fs.defaultFS

hdfs://hadoop31:8020

/app/hadoop-tmp-dir

hdfs-site.xml文件:

dfs.replicationM

3

/app/datas/datanode-data-dir

/app/datas/namenode-name-dir

hadoop33:50090

hadoop33:50091

Mapred-site.xml文件:

yarn

Yarn-site.xml文件:

hadoop32

mapreduce_shuffle

slaves文件:

hadoop31

hadoop32

hadoop33

5:检查每台服务器的进程

Hadoop31是:

[wangjian@hadoop31 /]$ jps

2482 Jps

2328 NodeManager

1530 NameNode

1629 DataNode

Hadoop32是:

[wangjian@hadoop32 /]$ jps

3552 NodeManager

3446 ResourceManager

3932 Jps

2125 DataNode

Hadoop33是:

[wangjian@hadoop33 /]$ jps

2209 SecondaryNameNode

2113 DataNode

2613 NodeManager

2783 Jps

可见与配置表相同。

6:测试hdfs命令和mapreduce程序

[wangjian@hadoop33 /]$ hdfs dfsadmin -report

DFS Remaining: 87526440960 (81.52 GB)

DFS Used: 86016 (84 KB)

DFS Used%: 0.00%

Under replicated blocks: 0

Blocks with corrupt replicas: 0

Missing blocks: 0

Missing blocks (with replication factor 1): 0

-------------------------------------------------

Live datanodes (3):

Name: 192.168.56.33:50010 (hadoop33)

Hostname: hadoop33

Decommission Status : Normal

DFS Used: 28672 (28 KB)

Non DFS Used: 2007281664 (1.87 GB)

DFS Remaining: 29175828480 (27.17 GB)

DFS Used%: 0.00%

DFS Remaining%: 88.79%

Configured Cache Capacity: 0 (0 B)

Cache Used: 0 (0 B)

Cache Remaining: 0 (0 B)

Cache Used%: 100.00%

Cache Remaining%: 0.00%

Xceivers: 1

Last contact: Fri Mar 16 23:30:46 CST 2018

测试更多hdfs操作和mapreduce操作。

OVER

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180316G1VL5O00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

同媒体快讯

扫码关注腾讯云开发者

领取腾讯云代金券