前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >001.HDFS 基础Shell命令用法

001.HDFS 基础Shell命令用法

原创
作者头像
用户5745711
修改2022-01-26 16:48:51
3180
修改2022-01-26 16:48:51
举报
文章被收录于专栏:HDFS运维手册HDFS运维手册

1. 常用命令大全

1.1 开始使用
代码语言:shell
复制
## 通过 <hdfs dfs> 或 <hadoop fs> 来使用
1.2 查看支持的命令
代码语言:shell
复制
hadoop fs
1.3 查看每个命令的用法
代码语言:shell
复制
hadoop fs -help <command>
hadoop fs -usage <command>
1.4 常用命令示例

命令不用刻意记忆或记录用法,不同HDFS版本,命令使用方式应该也会存在差异。

更一般的思路应该是先查看支持的命令,然后查看这个命令的用法。

代码语言:shell
复制
### appendToFile
-appendToFile <localsrc> ... <dst> 

### copyFromLocal
-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>

### copyToLocal
-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>

### moveFromLocal
-moveFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>

### cat
-cat [-ignoreCrc] <src> ...

### checksum
-checksum <src> ...

### chown
-chown [-R] [OWNER][:[GROUP]] PATH...

### count
-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...

### cp
-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>

### find
-find <path> ... <expression> ...
示例 1:  hadoop fs -find / -name "READ*" -a -name "*txt"

### rm
-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...

### get
-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>

### ls
-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]

### mkdir
-mkdir [-p] <path> ...

### mv
-mv <src> ... <dst>

### put
-put [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>

### rmdir
-rmdir [--ignore-fail-on-non-empty] <dir> ...

### head
-head <file>

### tail
-tail [-f] [-s <sleep interval>] <file>

### text
-text [-ignoreCrc] <src> ...

### test
-test -[defswrz] <path>

### getmerge
-getmerge [-nl] [-skip-empty-file] <src> <localdst>

### touch
-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...

### touchz
-touchz <path> ...

### stat
-stat [format] <path> ...
说明: 可以用这个命令来看文件类型
示例 1: hadoop fs -stat "%F" /README.txt

### truncate
-truncate [-w] <length> <path> ...
说明: 把文件截断为指定大小

### df
-df [-h] [<path> ...]
说明: 查看文件系统的信息

### du
-du [-s] [-h] [-v] [-x] <path> ...
说明: 查看指定path的使用情况,包括size、disk space consumed、name信息

### setrep
-setrep [-R] [-w] <rep> <path> ...
说明: 设置文件的副本个数,对目录下的所有目录+文件递归执行。The EC files will be ignored here.
示例 1: hadoop fs -setrep -R 3 <path>

2. 其他文档

  1. 官方文档: FileSystem Shell
  2. 官方中文文档: Hadoop Shell命令

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. 常用命令大全
    • 1.1 开始使用
      • 1.2 查看支持的命令
        • 1.3 查看每个命令的用法
          • 1.4 常用命令示例
          • 2. 其他文档
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档