《快学BigData》--Hadoop总结（D）（37）

Hadoop总结 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 210

概述 - - - - - - - - - - - - - - - - - - - - - - - - - - - - 211

CDH - - - - - - - - - - - - - - - - - - - - - - - - - - - - 211

安装Hadoop2.6.4 非Zookeeper集群版 - - - - - - - - - - - - - - - 211

安装Hadoop2.6.4 Zookeeper集群版 - - - - - - - - - - - - - - - 216

MapReduce整体的流程详解 - - - - - - - - - - - - - - - - - - - - 225

Hadoop HDFS 系统详解 - - - - - - - - - - - - - - - - - - - - - 226

JAVA 操作HDFS - - - - - - - - - - - - - - - - - - - - - - - - 241

Hadoop MapReduce 实例 - - - - - - - - - - - - - - - - - - - - 248

Hadoop 其他总结 - - - - - - - - - - - - - - - - - - - - - - - - 259

Hadoop 优化总结 - - - - - - - - - - - - - - - - - - - - - - - - 259

Hadoop HDFS 系统详解

概述

1、HDFS分为两大角色：Namenode , datanode , Secondary Name

2、nameNode 保存数据的元数据

3、DataNode 负责管理用户的文件的数据块，文件会按照块的大小保存到不同的DataNode ,每一个数据都有很多块的副本，保存在不同的机器上。

4、DataNode 会定期的向namenode汇报保存到数据的情况

5、HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进行

用户上传文件思路

1、客户端向nameNode发送要上传文件的请求,并把文件分为128M的块

2、nameNode 返回给用户是否能上传数据的状态

3、加入用户端需要上传一个120M的文件，客户端会通过Rpc请求NameNode，并返回需要上传给那些DataNode(分配机器的距离以及空间的大小等),会选择离namenode比较近的机器分配,同机架的有限.

4、客户端请求建立block传输管道chnnel上传数据

5、在上传是datanode会与其他的机器建立连接并把数据块传送到其他的机器上

6、dataNode向namenode汇报自己的储存情况以及自己的信息

7、档第一个快上传完后再去执行其他的快的上传

图例

补充：

它分为两个部分：NameNode和DateNode，NameNode相当于一个领导，它管理集群内的DataNode，当客户发送请求过来后，NameNode会根据情况指定存储到哪些DataNode上，而其本身自己并不存储真实的数据。那NameNode怎么知道集群内DataNode的信息呢？DataNode发送心跳信息给NameNode。

Namenode具备机架感知的能力，可以配置.

用户读取数据的流程

客户端将需要读取的文件的信息发送给namenode,namenode会把文件的元数据返回给用户，用户根据返回的储存block的机器上去请求datanode的信息，最后客户端再把数据库合并成整个数据。

图例

元数据的Checkpoint 过程

1-1）、概念

每隔一段时间secondary namenode 将namenode 上积累的所有的edits和一个最新的fsimage下载到本地，并加载到内存进行merge的过程叫做checkpoit

1-2）、查看元数据的信息

下面是保存edits与fsimage的路径， /usr/local/hadoop-2.6.4/data/name/current/下：

[root@hadoop1 current]# ll

total 2088

-rw-r--r--. 1 root root 270 Sep 2 05:45 edits_0000000000000000001-0000000000000000005

-rw-r--r--. 1 root root 42 Sep 2 08:05 edits_0000000000000000006-0000000000000000007

-rw-r--r--. 1 root root 1048576 Sep 2 08:05 edits_0000000000000000008-0000000000000000008

-rw-r--r--. 1 root root 42 Sep 12 21:14 edits_0000000000000000009-0000000000000000010

-rw-r--r--. 1 root root 42 Sep 12 22:14 edits_0000000000000000011-0000000000000000012

-rw-r--r--. 1 root root 1048576 Sep 12 22:14 edits_inprogress_0000000000000000013

-rw-r--r--. 1 root root 554 Sep 12 21:14 fsimage_0000000000000000010

-rw-r--r--. 1 root root 62 Sep 12 21:14 fsimage_0000000000000000010.md5

-rw-r--r--. 1 root root 554 Sep 12 22:14 fsimage_0000000000000000012

-rw-r--r--. 1 root root 62 Sep 12 22:14 fsimage_0000000000000000012.md5

-rw-r--r--. 1 root root 3 Sep 12 22:14 seen_txid

-rw-r--r--. 1 root root 207 Sep 12 20:45 VERSION

http://hadoop1:50070/dfshealth.html#tab-startup-progress

1-3）、图例

1-4）、checkPoint的附带作用

namenode和secondary namenode的工作目录存储结构完全相同，所以，当namenode故障退出需要重新恢复时，可以从secondary namenode的工作目录中将fsimage拷贝到namenode的工作目录，以恢复namenode的元数据

DataNode 工作机制

1-1）、dataNode 工作机制

Data会定期的向namenode 汇报自己的block储存的信息，被称为心跳，因为储存的信息特别重要，配置选项如下：

<property>

<name>dfs.blockreport.intervalMsec</name>

<value>3600000</value>

<description>Determines block reporting interval in milliseconds.</description>

</property>

1-2）、namenode 故障判断

Datanode 进程死亡或者网络的原因导致无法与namenode进行通信，namenome并不会马上任务datanome是死亡的，需要经过一点时间，那么这段时间被称为超时时长，HDFS默认的时间为10分钟+30秒，定义超时的时间为timeout，可以通过hdfs.site.xml进行配置，时间的单位为毫秒，如下：

<property>

<name>heartbeat.recheck.interval</name>

<value>2000</value>

</property>

<property>

<name>dfs.heartbeat.interval</name>

<value>1</value>

</property>

Hadoop & hadoop fs 常用命令

1-1）、hadoop 常用参数列表

[root@hadoop1 hadoop]# hadoop -help

Usage: hadoop [--config confdir] COMMAND

where COMMAND is one of:

fs run a generic filesystem user client

version print the version

jar <jar> run a jar file

checknative [-a|-h] check native hadoop and compression libraries availability

distcp <srcurl> <desturl> copy file or directories recursively

archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop archive

classpath prints the class path needed to get the

credential interact with credential providers

Hadoop jar and the required libraries

daemonlog get/set the log level for each daemon

trace view and modify Hadoop tracing settings

or

CLASSNAME run the class named CLASSNAME

Most commands print help when invoked w/o parameters.

1-2）、 Hadoop fs 的参数列表

[root@hadoop1 hadoop]# hadoop fs -help

Usage: hadoop fs [generic options]

[-appendToFile <localsrc> ... <dst>]

[-cat [-ignoreCrc] <src> ...]

[-checksum <src> ...]

[-chgrp [-R] GROUP PATH...]

[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]

[-chown [-R] [OWNER][:[GROUP]] PATH...]

[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]

[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

[-count [-q] [-h] <path> ...]

[-cp [-f] [-p | -p[topax]] <src> ... <dst>]

[-createSnapshot <snapshotDir> [<snapshotName>]]

[-deleteSnapshot <snapshotDir> <snapshotName>]

[-df [-h] [<path> ...]]

[-du [-s] [-h] <path> ...]

[-expunge]

[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

[-getfacl [-R] <path>]

[-getfattr [-R] {-n name | -d} [-e en] <path>]

[-getmerge [-nl] <src> <localdst>]

[-help [cmd ...]]

[-ls [-d] [-h] [-R] [<path> ...]]

[-mkdir [-p] <path> ...]

[-moveFromLocal <localsrc> ... <dst>]

[-moveToLocal <src> <localdst>]

[-mv <src> ... <dst>]

[-put [-f] [-p] [-l] <localsrc> ... <dst>]

[-renameSnapshot <snapshotDir> <oldName> <newName>]

[-rm [-f] [-r|-R] [-skipTrash] <src> ...]

[-rmdir [--ignore-fail-on-non-empty] <dir> ...]

[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]

[-setfattr {-n name [-v value] | -x name} <path>]

[-setrep [-R] [-w] <rep> <path> ...]

[-stat [format] <path> ...]

[-tail [-f] <file>]

[-test -[defsz] <path>]

[-text [-ignoreCrc] <src> ...]

[-touchz <path> ...]

[-usage [cmd ...]]

多看一下帮助详情，对今后的操作有帮助

1-3）、创建文件夹

[root@hadoop1 ~]# hadoop fs -mkdir /mkdirComm

[root@hadoop1 ~]# hadoop fs -ls /

drwxr-xr-x - root supergroup 0 2016-10-05 01:55 /mkdirComm

1-4）、上传文件

把本地/usr/local/hadoop-2.6.4/etc/hadoop/目录下的所有文件上传到/mkdirComm目录下

[root@hadoop1 ~]# hadoop fs -put /usr/local/hadoop-2.6.4/etc/hadoop/* /mkdirComm

[root@hadoop1 ~]# hadoop fs -ls /mkdirComm

Found 29 items

-rw-r--r-- 3 root supergroup 4436 2016-10-05 01:57 /mkdirComm/capacity-scheduler.xml

-rw-r--r-- 3 root supergroup 1335 2016-10-05 01:57 /mkdirComm/configuration.xsl

-rw-r--r-- 3 root supergroup 318 2016-10-05 01:57 /mkdirComm/container-executor.cfg

-rw-r--r-- 3 root supergroup 952 2016-10-05 01:57 /mkdirComm/core-site.xml

****************

1-5）、查看文件

查看全部的数据

[root@hadoop1 ~]# hadoop fs -cat /mkdirComm/capacity-scheduler.xml

<!--

Licensed under the Apache License, Version 2.0 (the "License");

you may not use this file except in compliance with the License.

You may obtain a copy of the License at

***************************

或者用head查看前几行数据

[root@hadoop1 ~]# hadoop fs -cat /mkdirComm/capacity-scheduler.xml | head

<!--

Licensed under the Apache License, Version 2.0 (the "License");

you may not use this file except in compliance with the License.

You may obtain a copy of the License at

1-6）、下载HDFS上的文件

把HDFS上的文件下载到本地的/user文件夹下

[root@hadoop1 ~]# hadoop fs -get /mkdirComm/capacity-scheduler.xml /usr/

[root@hadoop1 usr]# ls

bin capacity-scheduler.xml etc games include lib lib64 libexec local sbin share src tmp

1-7）、重命名文件

把HDFS上的capacity-scheduler.xml重命名为capacity.xml

[root@hadoop1 usr]# hadoop fs -mv /mkdirComm/capacity-scheduler.xml /mkdirComm/capacity.xml

1-8）、删除HDFS上指定的文件

删除HDFS上mkdirComm目录下的capacity-scheduler.xml文件

[root@hadoop1 usr]# hadoop fs -rm /mkdirComm/capacity-scheduler.xml

16/10/05 02:02:43 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.

Deleted /mkdirComm/capacity-scheduler.xml

1-9）、删除指定的文件夹

删除HDFS上的mkdirComm夹下的所有的数据

[root@hadoop1 usr]# hadoop fs -rmr /mkdirComm

rmr: DEPRECATED: Please use 'rm -r' instead.

16/10/05 02:04:04 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes, Emptier interval = 0 minutes.

Deleted /mkdirComm

1-10）、命令详细

详解请查看：

http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-project-dist/hadoop-common/FileSystemShell.html

A）、Hadoop fs –fs [local | <file system URI>]

Hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的DFS。如果传递uri做参数，那么就是特定的文件系统作为DFS。

B）、hadoop fs –ls <path>

hadoop fs –ls <path>：等同于本地系统的ls，列出在指定目录下的文件内容，支持pattern匹配。输出格式如filename(full path) <r n> size.其中n代表replica的个数，size代表大小（单位bytes）。

实例：

# hadoop fs -ls /test-20171106/test2.txt

C）、hadoop fs –lsr <path>

hadoop fs –lsr <path>：递归列出匹配pattern的文件信息，类似ls，只不过递归列出所有子目录信息。

实例：

# hadoop fs -lsr /test-20171106/test2.txt

D）、hadoop fs –du <path>

hadoop fs –du <path>：列出匹配pattern的指定的文件系统空间总量（单位bytes），等价于unix下的针对目录的du –sb <path>/*和针对文件的du –b <path> ，输出格式如name(full path) size(in bytes)。

实例：

# hadoop fs -du /test-20171106/test2.txt

E）、hadoop fs –dus <path>

hadoop fs –dus <path>：等价于-du，输出格式也相同，只不过等价于unix的du -sb。

实例：

# hadoop fs -dus /test-20171106/test2.txt

F）、hadoop fs –mv <src> <dst>

hadoop fs –mv <src> <dst>：将制定格式的文件 move到指定的目标位置。当src为多个文件时，dst必须是个目录。

实例：

# hadoop fs -mv /test-20171106/test1.txt /tmp/

G）、hadoop fs –cp <src> <dst>

hadoop fs –cp <src> <dst>：拷贝文件到目标位置，当src为多个文件时，dst必须是个目录。

实例：

# hadoop fs -cp /test-20171106/test1.txt /tmp/

H）、hadoop fs –rm [-skipTrash] <src>

hadoop fs –rm [-skipTrash] <src>：删除匹配pattern的指定文件，等价于unix下的rm <src>。

实例：

# hadoop fs -rm /test-20171106/

I）、hadoop fs –rmr [skipTrash] <src>

hadoop fs –rmr [skipTrash] <src>：递归删掉所有的文件和目录，等价于unix下的rm –rf <src>。

实例：

# hadoop fs -rmr /test-20171106

K）、hadoop fs –rmi [skipTrash] <src>

hadoop fs –rmi [skipTrash] <src>：等价于unix的rm –rfi <src>。

L）、hadoop fs –put <localsrc> … <dst>

hadoop fs –put <localsrc> … <dst>：从本地系统拷贝文件到DFS。

实例：

# hadoop fs -put aaa.txt /test-20171106/

M）、hadoop fs –copyFromLocal <localsrc> … <dst>

hadoop fs –copyFromLocal <localsrc> … <dst>：等价于-put。

N）、hadoop fs –moveFromLocal <localsrc> … <dst>

hadoop fs –moveFromLocal <localsrc> … <dst>：等同于-put，只不过源文件在拷贝后被删除。

实例：

# hadoop fs -moveFromLocal /home/xiaoxu/test2.txt /test-20171106/

O）、hadoop fs –get [-ignoreCrc] [-crc] <src> <localdst>

hadoop fs –get [-ignoreCrc] [-crc] <src> <localdst>：从DFS拷贝文件到本地文件系统，文件匹配pattern，若是多个文件，则dst必须是目录。

实例：

# hadoop fs -get /test-20171106/test1.txt /home

P）、hadoop fs –getmerge <src> <localdst>

hadoop fs –getmerge <src> <localdst>：顾名思义，从DFS拷贝多个文件、合并排序为一个文件到本地文件系统。

实例：

# hadoop fs -getmerge /test-20171106/test1.txt /test-20171106/test2.txt /home/xiao3/aaa.txt

Q）、hadoop fs –cat <src>

hadoop fs –cat <src>：展示文件内容。

实例：

hadoop fs -cat /test-20171106/hive.service.keytab

R）、hadoop fs –copyToLocal [-ignoreCrc] [-crc] <src> <localdst>

hadoop fs –copyToLocal [-ignoreCrc] [-crc] <src> <localdst>：等价于-get。

实例：

# hadoop fs -copyToLocal /test-20171106/hive.service.keytab /home/

S）、hadoop fs –mkdir <path>

hadoop fs –mkdir <path> <path>：在指定位置创建目录，可以制定多个路径。

实例：

# hadoop fs -mkdir /test-20171108 /test-20171107

T）、hadoop fs –setrep [-R] [-w] <rep> <path/file>

hadoop fs -setrep -setrep [-R] [-w] <副本数> <路径>修改副本数量

实例：

# hadoop fs -setrep -R 2 /test-20171106/hive.service.keytab

Replication 2 set: /test-20171106/hive.service.keytab

可以看到已经修改了2个副本

U）、hadoop fs –chmod [-R] <MODE[,MODE]…|OCTALMODE> PATH…

hadoop fs –chmod [-R] <MODE[,MODE]…|OCTALMODE> PATH…：修改文件的权限，-R标记递归修改。MODE为a+r,g-w,+rwx等，OCTALMODE为755这样。

实例：

# hadoop fs -chmod 777 /test-20171106

V）、hadoop fs -chown [-R] [OWNER][:[GROUP]] PATH…

hadoop fs -chown [-R] [OWNER][:[GROUP]] PATH…：修改文件的所有者和组。-R表示递归。

实例：

# hadoop fs -chown -R root:root /test-20171106

W)、hadoop fs -chgrp [-R] GROUP PATH…

hadoop fs -chgrp [-R] GROUP PATH…：等价于-chown … :GROUP …。

实例：

# hadoop fs -chgrp 777 /tmp

X）、hadoop fs –count[-q] <path>

hadoop fs –count[-q] <path>：计数文件个数及所占空间的详情，输出表格的列的含义依次为：DIR_COUNT,FILE_COUNT,CONTENT_SIZE,FILE_NAME或者如果加了-q的话，还会列出QUOTA,REMAINING_QUOTA,SPACE_QUOTA,REMAINING_SPACE_QUOTA。

实例：

# hadoop fs -count /tmp

1068 26788 328166357 /tmp

L）、设置reduce.tasks启动

hadoop jar /root/hadoop-mapreduce-examples-2.7.3.2.6.0.3-8.jar terasort -Dmapred.reduce.tasks=50 /embrace/1T-input /embrace/1T-ouput

1-11）、查看文件的前N行

[root@hadoop1 testData]# tail -n 2 addressess.txt

3673,03,820201,凼仔区,820200

3674,03,820301,路环区,820300

1-12）、查看HDFS上文件的总大小

查看testtbl-data.csv文件夹的总大小

[root@hadoop1 testData]# hadoop fs -du -h -s testtbl-data.csv

10.8 G testtbl-data.csv

1-13）、查看HDFS文件上的前几行的数据

[root@hadoop1 start-single]# hadoop fs -cat /tmpbulkdata/sp_addr_data/sp_address/51cef7aca49a4532b0f5a7099ccea21e|head

DATABLK*_x001D_ÿÿÿÿÿÿÿÿ@*_x0019_1

sp_addressID[8H>110000!1

sp_addressPLACE_CODE[8H>北京市10

sp_addressID[8H>320000"10

1-14）、两个集群之间复制数据

distcp（distribution copy）用来在两个HDFS 之间拷贝数据

实例：

hadoop distcp hdfs://hadoop1:8020/tmpbulkdata/sp_addr_data/sp_address/ hdfs://master1:8020/tmpbulkdata/sp_addr_data/sp_address/

1-15）、查找日志

# yarn logs -applicationId application_1508901525098_0005

1-16）、杀掉进程

# yarn application -kill application_1508901525098_0005

或

hadoop job -kill job_1469693904965_0011

1-17）、hdfs dfsadmin 常用命令

常用命令

# hdfs dfsadmin -safemode get ## 返回安全模式是否开启的信息，返回 Safe mode is OFF/OPEN

# hdfs dfsadmin -safemode enter ## 进入安全模工

# hdfs dfsadmin -safemode leave ## 强制 NameNode 离开安全模式

# hdfs dfsadmin -safemode wait ## 等待，一直到安全模式结束

实例：

#hadoop dfsadmin -report

**********************

详细的信息请查看：http://blog.csdn.net/xfg0218/article/details/78465722

安全模式实例：

进入安全模式，需要超级管理员

退出安全模式

hadoop dfsadmin -safemode leave

进入安全模式

hadoop dfsadmin -safemode enter

1-18）、查看blocks的信息

hadoop fsck

Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

<path> 检查这个目录中的文件是否完整

-move 破损的文件移至/lost+found目录

-delete 删除破损的文件

-openforwrite 打印正在打开写操作的文件

-files 打印正在check的文件名

-blocks 打印block报告 （需要和-files参数一起使用）

-locations 打印每个block的位置信息（需要和-files参数一起使用）

-racks 打印位置信息的网络拓扑图 （需要和-files参数一起使用）

A）、查看当前文件的储存路径信息

# hadoop fsck /apps/hive/warehouse/*****.db/station -files -blocks -locations

***********

/apps/hive/warehouse/*****.db/station/station.txt 35 bytes, 1 block(s): OK

0. BP-631917053-172.17.109.151-1505107242047:blk_1074082946_344142 len=35 repl=3 [DatanodeInfoWithStorage[172.17.109.169:1019,DS-93273dbd-5beb-4878-84ba-dda2674690b9,DISK], DatanodeInfoWithStorage[172.17.109.161:1019,DS-88882ffe-de8c-4312-8a4e-f0c20d7d8933,DISK], DatanodeInfoWithStorage[172.17.109.172:1019,DS-1b78dcb6-4a07-4909-9612-35059946aec4,DISK]]

# ssh 172.17.109.169

# find / -name blk_1074082946

B）、查看集群的运行状态

# hadoop fsck /

FSCK started by admin (auth:KERBEROS_SSL) from /172.17.109.153 for path / at Tue Nov 07 17:20:04 CST 2017

**************************

Total size: 11458019104593 B (Total open files size: 209859749 B)

Total dirs: 6684

Total files: 97631

Total symlinks: 0 (Files currently being written: 79)

Total blocks (validated): 166422 (avg. block size 68849185 B) (Total open file blocks (not validated): 54)

Minimally replicated blocks: 166422 (100.0 %)

Over-replicated blocks: 0 (0.0 %)

Under-replicated blocks: 0 (0.0 %)

Mis-replicated blocks: 0 (0.0 %)

Default replication factor: 3

Average block replication: 2.2904844

Corrupt blocks: 0

Missing replicas: 0 (0.0 %)

Number of data-nodes: 20

Number of racks: 1

FSCK ended at Tue Nov 07 17:20:06 CST 2017 in 1453 milliseconds

The filesystem under path '/' is HEALTHY

在以上信息可以看出Default replication factor:3 ： 缺省的备份参数3

Corrupt blocks:0 ： 破损的block数0

Number of data-nodes:20 ： 节点的个数为20个

1-19）、显示文件的尾部

# hadoop fs -tail /test-20171106/test2.txt

1-20）、显示文件系统，文件系统大小，已用空间，可用空间和已使用百分比

# hadoop fs -df -h

Filesystem Size Used Available Use%

hdfs://rdspProCluster 714.1 T 17.7 T 696.3 T 2%

1-21）、archive压缩文件

A）、对文件进行压缩

# hadoop archive -archiveName zoo.har -p /test-20171106/test1.txt /test-20171106

17/11/06 15:30:28 INFO client.AHSProxy: Connecting to Application History server at rdsp-nn-02.test.com/172.17.109.152:10200

******************************

B）、查看数据

# hadoop dfs -ls har:///test-20171106/zoo.har

# hadoop dfs -ls -R har:/test-20171106/zoo.har

并行解压数据

hdfs dfs -cp har:/test-20171106/zoo.har hdfs:/tmp/

1-22）、数据平衡

新加机器后会产生数据节点行数据不平衡的现象，在执行任务时会较低效率，平衡术后便会解决这个现象

详细请查看：

http://blog.csdn.net/xfg0218/article/details/78465274

下载文件：链接: https://pan.baidu.com/s/1nvxHkBv 密码: 71tk 如果无法下载请联系作者

#BigDataBench_V3.2.1_Hadoop_Hive/SearchEngine/Index/nutch-1.2-hadoop1/bin/start-balancer.sh -t 10%

注意：在执行此脚本时最好在一个空闲的机器上执行，避免占用执行任务的资源。如果数据量大建议一天执行一次，数据量小建议一周执行一次，按照自己的集群规模以及数据量的大小来执行数据平衡任务

或者

sh $HADOOP_HOME/bin/start-balancer.sh -t 15%

1-23）、查看Hadoop的版本

# hadoop version

Hadoop 2.7.3.2.6.0.3-8

Subversion git@github.com:hortonworks/hadoop.git -r c6befa0f1e911140cc815e0bab744a6517abddae

Compiled by jenkins on 2017-04-01T21:32Z

Compiled with protoc 2.5.0

From source with checksum a28afaaa6b3713cb3163c88551b1c48

This command was run using /usr/hdp/2.6.0.3-8/hadoop/hadoop-common-2.7.3.2.6.0.3-8.jar

图实例

1-1）、Datanode信息

http://hadoop1:50070/

1-2）、Nodes信息

http://hadoop1:8088/

1-3）、SecondaryNameNode 信息

http://hadoop1:50090/