hadoop fs -mkdir [-p] <path> ...
path
为待创建的目录
-p
选项的行为与Unix mkdir -p
非常相似,它会沿着路径创建父目录。
hadoop fs -mkdir /common
hadoop fs -mkdir /workspace /warehouse /source
hadoop fs -ls [-h] [-R] [<path> ...]
path
指定目录路径
-h
人性化显示文件size
-R
递归查看指定目录及其子目录
hadoop fs -ls -h -R /
hadoop fs -put [-f] [-p] <localsrc> ... <dst>
-f
覆盖目标文件(已存在下)
-p
保留访问和修改时间,所有权和权限。
localsrc
本地文件系统(客户端所在机器)
dst
目标文件系统(HDFS)
test1.csv
测试文件到 root
目录下
hadoop fs -mkdir -p /source/weibo/star/comment_log/20210404_hadoop1/
test1.cvs
文件上传到 HDFS 对应的路径下,下面两种方式都是可行的hadoop fs -put test1.csv /source/weibo/star/comment_log/20210404_hadoop1/
或
hadoop fs -put file:///root/test1.csv
hadoop fs -moveFromLocal <localsrc> ... <dst>
hadoop fs -moveFromLocal test1.csv /tmp/
hadoop fs -cat <src> ...
读取指定文件全部内容,显示在标准输出控制台。
注意:对于大文件内容读取,慎重。 适合查看小文件hadoop fs -cat /source/weibo/star/comment_log/20210404_hadoop1/test1.csv
hadoop fs -head <file>
hadoop fs -head /source/weibo/star/comment_log/20210404_hadoop1/test1.csv
hadoop fs -tail [-f] <file>
-f
选择可以动态显示文件中追加的内容。hadoop fs -get [-f] [-p] <src> ... <localdst>
src
表示的的是 HDFS 路径localdst
必须是目录,表示当前客户端的机器路径
-f
覆盖目标文件(已存在下)
-p
保留访问和修改时间,所有权和权限。HDFS
下的 /tmp/test1.csv
下载到第三台 hadoop3
的 root
下hadoop fs -get /tmp/test1.csv /root
或
hadoop fs -get /tmp/test1.csv ./
./
表示的就是当前路径
hadoop fs -getmerge [-nl] [-skip-empty-file] <src> <localdst>
-nl
选项表示在每个文件末尾添加换行符1,2,3
数字
/tmp/small
文件夹,把三个 txt 文件上传到此路径下
/tmp/small/
下的 三个文件下载到本地合并,重命名为 123.txt
文件
hadoop fs -cp [-f] <src> ... <dst>
-f
覆盖目标文件(已存在下)/tmp/test1.csv
文件拷贝到 /tmp/small
路径下
hadoop fs -cp /tmp/test1.csv /tmp/small/
hadoop fs -appendToFile <localsrc> ... <dst>
dst
文件。
dst
如果文件不存在,将创建该文件。
如果<localSrc>
为-,则输入为从标准输入中读取。xdr630.txt
文件,写入:this is xdr630 file.
,追加到 HDFS 上的 /tmp/small/1.txt
下hadoop fs -appendToFile xdr630.txt /tmp/small/1.txt
hadoop fs -df [-h] [<path> ...]
hadoop fs -df -h /
hadoop fs -du [-s] [-h] <path> ...
-s
:表示显示指定路径文件长度的汇总摘要,而不是单个文件的摘要。
-h
:选项将以“人类可读”的方式格式化文件大小hadoop fs -du -s -h /source/weibo
hadoop fs -mv <src> ... <dst>
hadoop fs -mv /tmp/small/test1.csv /
hadoop fs -setrep [-R] [-w] <rep> <path> ...
-R
表示递归 修改文件夹下及其所有
-w
客户端是否等待副本修改完毕。
hadoop fs -rm [-f] [-r |-R] [-skipTrash] [-safely] URI [URI ...]
-R
选项以递归方式删除目录及其下的任何内容。
-r
选项等效于-R。
-skipTrash
选项将绕过垃圾桶(如果启用),并立即删除指定的文件。当需要从超配额目录中删除文件时,这很有用。test1.csv
hadoop fs -rm /test1.csv
hadoop fs -rm /tmp/small/1.txt /tmp/small/2.txt /tmp/small/3.txt
hadoop fs -rmr URI [URI …]
或:hadoop fs -rm -r URI [URI …]
hadoop fs -rm -r
hadoop fs -rmr /user/hadoop/dir
hadoop fs -rmr hdfs://host:port/user/hadoop/dir
hadoop 3.2.2
命令官方指导文档
https://hadoop.apache.org/docs/r3.2.2/hadoop-project-dist/hadoop-common/FileSystemShell.html