Hadoop之HDFS的shell操作

1.HDFS的Shell命令简介

HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、mkdir、rm等。

2. HDFS的Shell命令语法

(1)调用文件系统(HDFS)Shell命令语法格式为:

bin/hadoop fs

args解释:

1. args使用URI路径作为值。

2. URI格式是scheme://authority/path。HDFS的scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。

3. 例如:/parent/child可以表示成hdfs://namenode:namenodePort/parent/child,或者更简单的/parent/child(假设配置文件是namenode:namenodePort)

(2)HDFS的具体shell命令解析

1. –mkdir创建空白文件夹

-mkdir:创建空白文件夹,该命令选项表示创建文件夹,后面跟的路径是在hdfs将要创建的文件夹:

语法: hadoop fs -mkdir

实例:

hadoop fs -mkdir /hadoop

hadoop fs –mkdir hdfs://Hadoop1:9000/hadoop/dir1

2. –put 上传文件

-put:该命令选项表示把linux上的文件复制到hdfs中:

语法: hadoop fs -put

实例:

hadoop fs -put LICENSE.txt /hadoop/LICENSE.txt

hadoop fs –put logs/aa.log hdfs://Hadoop1:9000/hadoop/

3. –copyFromLocal上传文件

-copyFromLocal:该命令除了限定源路径是一个本地文件外,操作与-put一致。

语法:hadoop fs -copyFromLocal ...

实例:

hadoop fs –copyFromLocal logs/tt.out /hadoop/

4. –ls显示当前目录结构

-ls:该命令选项表示查看指定路径的当前目录结构,参数:-R递归显示目录结构,后面跟hdfs路径:

语法:hadoop fs -ls /

实例:

hadoop fs -ls hdfs://Hadoop1:9000/hadoop/

hadoop fs -ls -R hdfs://Hadoop1:9000/

5. –get递归显示当前目录结构

-get:复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息:

语法:hadoop fs -get

实例:

hadoop fs –get /hadoop/rr.out /home/rr.out

6. –du统计目录下各文件大小

-du:显示目录中所有文件的大小,或者当只指定一个文件时,显示此文件的大小:

语法: hadoop fs –du

实例:

hadoop fs –du /hadoop

7. -count统计文件(夹)数量

-count:该命令选项显示指定路径下的文件夹数量、文件数量、文件总大小信息:

语法: hadoop fs –count

实例:

hadoop fs -count /hadoop

8. –mv移动

-mv:将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件:

语法:hadoop fs -mv

实例:

hadoop fs –mv /hadoop/aa.log /hadoop/dir1

9. –cp复制

-cp:将文件从源路径复制到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录:

语法:hadoop fs -cp

实例:

hadoop fs –cp /hadoop/ee.out /hadoop/dir2

10. -moveFromLocal从本地移动

-moveFromLocal:将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件:

语法:hadoop fs -moveFromLocal ...

实例:

hadoop fs –move FromLocal /home/localfile1.txt /hadoop

11. -getmerge合并到本地

-moveFromLocal:该命令选项的含义是把hdfs指定目录下的所有文件内容合并到本地linux的文件中将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件:

语法:hadoop fs -getmerge

实例:

hadoop fs -getmerge /hadoop/ /home/localfile2.txt

12. –cat查看文件内容

-cat:将路径指定文件的内容输出到stdout:

语法: hadoop fs –cat

实例:

hadoop fs –cat /hadoop/ff.log

13. -touchz创建空白文件

-touchz:创建空白文件:

语法: hadoop fs –touchz

实例:

hadoop fs -touchz /hadoop/touchzFile.txt

14. -tail查看文件尾部内容

-tail:该命令选项显示文件最后1K字节的内容。一般用于查看日志。如果带有选项-f,那么当文件内容变化时,也会自动显示:

语法:hadoop fs -tail –f

实例:

hadoop fs -tail –f /hadoop/dir1/yy.log

15. -rm删除文件/空白文件夹

-rm:删除指定的文件。只删除非空目录和文件。

语法:hadoop fs –rm

实例:

hadoop fs –rm /hadoop/dir1/rr.log

16. –rm-r递归删文件

-rm -r :该命令选项表示递归删除指定目录下的所有子目录和文件。

语法: hadoop fs –rm -r

实例:

hadoop fs -rm -r /hadoop/dir2

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180818G0GE5600?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券