### 1. 列出文件和目录 (ls)

**通用格式:**
`hdfs dfs -ls [-R] [<path> ...]`
**示例:**
```bash
# 列出 HDFS 根目录 (/) 的内容
hdfs dfs -ls /
# 列出 HDFS 目录 /user/hive/warehouse 的内容
hdfs dfs -ls /user/hive/warehouse
# 递归列出 HDFS 目录 /data/raw 及其所有子目录的内容
hdfs dfs -ls -R /data/raw
# 列出 HDFS 文件 /user/myuser/myfile.txt 的详细信息
hdfs dfs -ls /user/myuser/myfile.txt
```

### 2. 创建目录 (mkdir)

**通用格式:**
`hdfs dfs -mkdir [-p] <path> ...`
**示例:**
```bash
# 在 HDFS 的 /user/myuser/ 目录下创建名为 new_directory 的子目录
hdfs dfs -mkdir /user/myuser/new_directory
# 在 HDFS 中创建多层嵌套目录 /data/processed/year=2024/month=07 (如果父目录不存在则一同创建)
hdfs dfs -mkdir -p /data/processed/year=2024/month=07
```

### 3. 从本地复制文件到 HDFS (copyFromLocal或 put)

**通用格式:**
`hdfs dfs -copyFromLocal [-f] [-p] <localsrc> ... <dst>`
`hdfs dfs -put [-f] [-p] <localsrc> ... <dst>`		（也指上传到）
**示例:**
```bash
# 将本地文件 /home/user/data.csv 复制到 HDFS 目录 /user/myuser/data/
hdfs dfs -copyFromLocal /home/user/data.csv /user/myuser/data/
# 将本地文件 /path/to/local/file.log 复制到 HDFS 路径 /hdfs/path/ 并重命名为 renamed.log
hdfs dfs -put /path/to/local/file.log /hdfs/path/renamed.log
# 将本地目录 /local/source_dir 及其内容复制到 HDFS 目录 /hdfs/destination_dir
hdfs dfs -copyFromLocal /local/source_dir /hdfs/destination_dir
# 将本地文件 /local/file1.txt 和 /local/file2.txt 复制到 HDFS 目录 /hdfs/target/
hdfs dfs -put /local/file1.txt /local/file2.txt /hdfs/target/
```
**补充:**`hdfs dfs -put [-f] [-p] <localsrc> ... <dst>`	**详解**

<table border="1" cellpadding="8" cellspacing="0">
  <thead>
    <tr>
      <th>项目</th>
      <th>说明</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>-put</td>
      <td>将本地文件上传到 HDFS 中</td>
    </tr>
    <tr>
      <td>-f</td>
      <td>（可选）如果目标文件已存在，强制覆盖</td>
    </tr>
    <tr>
      <td>-p</td>
      <td>（可选）保留原文件的访问权限、时间戳</td>
    </tr>
    <tr>
      <td>&lt;localsrc&gt;</td>
      <td>本地源文件路径，可以是多个</td>
    </tr>
    <tr>
      <td>&lt;dst&gt;</td>
      <td>目标 HDFS 路径（文件夹或文件）</td>
    </tr>
  </tbody>
</table>

```bash
# 把本地的 file.txt 上传到 HDFS 的 /user/hadoop/ 目录下
hdfs dfs -put /home/user/file.txt /user/hadoop/
# 如果 /user/hadoop/file.txt 已存在，就会被强制覆盖
hdfs dfs -put -f file.txt /user/hadoop/file.txt
# 保留权限、时间戳等元数据
hdfs dfs -put -p file.txt /user/hadoop/
```



### 4. 从 HDFS 复制文件到本地 (copyToLocal 或 get)

**通用格式:**
`hdfs dfs -copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>`
`hdfs dfs -get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>`
**示例:**
```bash
# 将 HDFS 文件 /user/myuser/results.txt 复制到本地当前目录 (.)
hdfs dfs -copyToLocal /user/myuser/results.txt .
# 将 HDFS 文件 /hdfs/path/output.parquet 复制到本地目录 /local/data/
hdfs dfs -get /hdfs/path/output.parquet /local/data/
# 将 HDFS 目录 /user/hive/warehouse/mydb.db 及其内容复制到本地目录 /home/user/hive_backup/
hdfs dfs -copyToLocal /user/hive/warehouse/mydb.db /home/user/hive_backup/
```

### 5. 在 HDFS 内部复制文件或目录 (cp)

**通用格式:**
`hdfs dfs -cp [-f] [-p] <src> ... <dst>`
**示例:**
```bash
# 将 HDFS 文件 /user/data/file.txt 复制到 HDFS 路径 /user/backup/ 并命名为 file_copy.txt
hdfs dfs -cp /user/data/file.txt /user/backup/file_copy.txt
# 将 HDFS 目录 /data/raw/logs 及其内容复制到 HDFS 目录 /data/processed/logs_archive
hdfs dfs -cp /data/raw/logs /data/processed/logs_archive
# 将 HDFS 文件 /source/file1 和 /source/file2 复制到 HDFS 目录 /destination_dir/
hdfs dfs -cp /source/file1 /source/file2 /destination_dir/
```

### 6. 在 HDFS 内部移动或重命名文件或目录 (mv)

**通用格式:**
`hdfs dfs -mv <src> ... <dst>`
**示例:**
```bash
# 将 HDFS 文件 /user/temp/old_name.csv 重命名为 /user/temp/new_name.csv
hdfs dfs -mv /user/temp/old_name.csv /user/temp/new_name.csv
# 将 HDFS 文件 /tmp/data.parquet 移动到 HDFS 目录 /user/processed_data/
hdfs dfs -mv /tmp/data.parquet /user/processed_data/
# 将 HDFS 目录 /data/staging 移动并重命名为 /archive/completed_staging
hdfs dfs -mv /data/staging /archive/completed_staging
```

### 7. 删除 HDFS 文件或目录 (rm)

**通用格式:**
`hdfs dfs -rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...`
**示例:**
```bash
# 删除 HDFS 文件 /user/myuser/temp_file.txt
hdfs dfs -rm /user/myuser/temp_file.txt
# 递归删除 HDFS 目录 /user/old_data 及其所有内容
hdfs dfs -rm -r /user/old_data
# 强制递归删除 HDFS 目录 /user/unwanted_dir 及其所有内容（谨慎使用）
hdfs dfs -rm -f -r /user/unwanted_dir
# 删除 HDFS 文件 /sensitive/log.txt，并跳过回收站
hdfs dfs -rm -skipTrash /sensitive/log.txt
```

### 8. 查看 HDFS 文件内容 (cat)

**通用格式:**
`hdfs dfs -cat [-ignoreCrc] <src> ...`
**示例:**
```bash
# 查看 HDFS 文件 /user/config/settings.xml 的内容
hdfs dfs -cat /user/config/settings.xml
# 查看 HDFS 文件 /logs/part-00000 和 /logs/part-00001 的内容并合并输出
hdfs dfs -cat /logs/part-00000 /logs/part-00001
```

### 9. 以文本格式查看 HDFS 文件内容 (text)

**通用格式:**
`hdfs dfs -text <src> ...`
**说明:** 对于压缩文件（如 Gzip、Snappy）或 SequenceFiles 等，此命令会尝试解压并以文本显示。
**示例:**
```bash
# 查看 HDFS 上 Gzip 压缩文件 /data/output/part-r-00000.gz 的解压后文本内容
hdfs dfs -text /data/output/part-r-00000.gz
```

### 10. 查看 HDFS 目录或文件的磁盘使用情况 (du, dus)

**通用格式:**
`hdfs dfs -du [-s] [-h] [-v] [-x] <path> ...`
**示例:**
```bash
# 显示 HDFS 目录 /user/hive/warehouse 下各文件/子目录的大小
hdfs dfs -du /user/hive/warehouse
# 显示 HDFS 目录 /data/raw 的总大小（汇总）
hdfs dfs -du -s /data/raw
# 以易读格式（KB, MB, GB）显示 HDFS 目录 /data/raw 的总大小
hdfs dfs -du -s -h /data/raw
# dus 是 du -s 的简写，以易读格式显示 HDFS 目录 /data/raw 的总大小
hdfs dfs -dus -h /data/raw
```

### 11. 修改 HDFS 文件或目录权限 (chmod)

**通用格式:**
`hdfs dfs -chmod [-R] <MODE[,MODE]... | OCTALMODE> <path> ...`
**示例:**
```bash
# 使用八进制模式将 HDFS 文件 /user/scripts/run_job.sh 的权限设置为 755 (rwxr-xr-x)
hdfs dfs -chmod 755 /user/scripts/run_job.sh
# 使用符号模式为 HDFS 文件 /user/scripts/process.py 的所有者 (u) 添加执行权限 (x)
hdfs dfs -chmod u+x /user/scripts/process.py
# 递归修改 HDFS 目录 /data/public_share 及其下所有文件/目录的权限为 644 (rw-r--r--)
hdfs dfs -chmod -R 644 /data/public_share
```

### 12. 修改 HDFS 文件或目录的所有者 (chown)

**通用格式:**
`hdfs dfs -chown [-R] [OWNER][:[GROUP]] <path> ...`
**示例:**
```bash
# 将 HDFS 文件 /user/mapred/output/part-00000 的所有者修改为 mapred
hdfs dfs -chown mapred /user/mapred/output/part-00000
# 将 HDFS 目录 /user/hive/warehouse/mydb.db 的所有者修改为 hive，所属组修改为 hadoop
hdfs dfs -chown hive:hadoop /user/hive/warehouse/mydb.db
# 递归修改 HDFS 目录 /data/kudu_tables 及其所有内容的所有者为 impala
hdfs dfs -chown -R impala /data/kudu_tables
```

### 13. 修改 HDFS 文件或目录的所属组 (chgrp)

**通用格式:**
`hdfs dfs -chgrp [-R] GROUP <path> ...`
**示例:**
```bash
# 将 HDFS 文件 /project/source_code/main.java 的所属组修改为 developers
hdfs dfs -chgrp developers /project/source_code/main.java
# 递归修改 HDFS 目录 /data/reports 及其所有内容的所属组为 analysts
hdfs dfs -chgrp -R analysts /data/reports
```

### 14. 查看 HDFS 状态报告 (dfsadmin -report)

**通用格式:**
`hdfs dfsadmin -report`
**示例:**
```bash
# 显示 HDFS 集群的详细状态报告（容量、使用情况、DataNode 信息等）
hdfs dfsadmin -report
```

### 15. 获取帮助 (help)

**通用格式:**
`hdfs dfs -help [<cmd>]`
**示例:**
```bash
# 显示所有 hdfs dfs 支持的命令列表
hdfs dfs -help
# 显示 hdfs dfs put 命令的详细帮助信息
hdfs dfs -help put
```

### 16. 查看文件尾部 (tail)

**通用格式:**
`hdfs dfs -tail [-f] <file>`
**示例:**
```bash
# 查看 HDFS 文件 /logs/app.log 的最后 1KB 内容
hdfs dfs -tail /logs/app.log
# 实时追踪 HDFS 文件 /stream/data.log 的新增内容（类似 Linux tail -f）
hdfs dfs -tail -f /stream/data.log
```

### 17. 统计目录内容 (count)

**通用格式:**
`hdfs dfs -count [-q] [-h] [-v] [-x] <path> ...`
**示例:**
```bash
# 统计 HDFS 目录 /user/hive/warehouse 下的目录数、文件数、总大小（字节）
hdfs dfs -count /user/hive/warehouse
# 以易读格式显示统计信息
hdfs dfs -count -h /user/hive/warehouse
# 显示配额信息（如果设置了）
hdfs dfs -count -q /user/myuser
# 显示表头
hdfs dfs -count -v /data/raw
```

### 18. 获取文件校验和 (checksum)

**通用格式:**
`hdfs dfs -checksum <src> ...`
**示例:**
```bash
# 获取 HDFS 文件 /data/input/part-00000 的 MD5-of-0MD5-CRC32 校验和
hdfs dfs -checksum /data/input/part-00000
```

### 19. 设置文件副本数 (setrep)

**通用格式:**
`hdfs dfs -setrep [-R] [-w] <rep> <path> ...`
**示例:**
```bash
# 将 HDFS 文件 /user/important_data.csv 的副本数设置为 5
hdfs dfs -setrep 5 /user/important_data.csv
# 递归地将 HDFS 目录 /archive/old_logs 下所有文件的副本数设置为 1
hdfs dfs -setrep -R 1 /archive/old_logs
# 设置副本数并等待操作完成
hdfs dfs -setrep -w 3 /user/critical_file.parquet
```

### 20. 测试文件属性 (test)

**通用格式:**
`hdfs dfs -test -[defsz] <path>`
**说明:** 命令执行成功（条件为真）时退出码为 0，否则为 1。
**示例:**
```bash
# 测试 HDFS 路径 /user/myuser 是否存在
hdfs dfs -test -e /user/myuser
# 测试 HDFS 路径 /data/input/file.txt 是否是文件
hdfs dfs -test -f /data/input/file.txt
# 测试 HDFS 路径 /logs 是否是目录
hdfs dfs -test -d /logs
# 测试 HDFS 文件 /data/zero_byte_file 是否为空（大小为 0）
hdfs dfs -test -z /data/zero_byte_file
```

### 21. 创建空文件 (touchz)

**通用格式:**
`hdfs dfs -touchz <path> ...`
**示例:**
```bash
# 在 HDFS 上创建名为 /user/flags/job_done.flag 的空文件
hdfs dfs -touchz /user/flags/job_done.flag
```

### 22. 显示文件状态 (stat)

**通用格式:**
`hdfs dfs -stat [format] <path> ...`
**说明:** format 可以指定输出格式，如 `%b` (大小), `%o` (块大小), `%r` (副本数), `%y` (修改时间 YYYY-MM-DD HH:MM:SS), `%n` (文件名), `%u` (所有者), `%g` (所属组)。
**示例:**
```bash
# 以默认格式显示 HDFS 文件 /data/file.csv 的状态信息
hdfs dfs -stat /data/file.csv
# 仅显示 HDFS 文件 /data/file.csv 的副本数
hdfs dfs -stat %r /data/file.csv
# 显示 HDFS 目录 /user/mydata 的修改时间和路径名
hdfs dfs -stat "Modification time: %y, Name: %n" /user/mydata
```

### 23. 清空回收站 (expunge)

**通用格式:**
`hdfs dfs -expunge`
**说明:** 需要启用 HDFS 回收站功能。此命令会永久删除回收站中的所有文件。
**示例:**
```bash
# 清空当前用户的 HDFS 回收站
hdfs dfs -expunge
```

---

## 练习题 (Exercises)

**练习 1:**
在 HDFS 的 `/user/` 目录下创建一个名为 `test_data` 的新目录。

**答案:**

```bash
hdfs dfs -mkdir /user/test_data
```

**练习 2:**
将本地文件 `/home/myuser/sample.txt` 复制到 HDFS 的 `/user/test_data/` 目录下。

**答案:**

```bash
hdfs dfs -copyFromLocal /home/myuser/sample.txt /user/test_data/
```
   或
```bash
hdfs dfs -put /home/myuser/sample.txt /user/test_data/
```

**练习 3:**
查看 HDFS 上 `/user/test_data/sample.txt` 文件的内容。

**答案:**

```bash
hdfs dfs -cat /user/test_data/sample.txt
```

**练习 4:**
将 HDFS 上的 `/user/test_data/sample.txt` 文件重命名为 `sample_renamed.txt` （仍在同一目录下）。

**答案:**

```bash
hdfs dfs -mv /user/test_data/sample.txt /user/test_data/sample_renamed.txt
```

**练习 5:**
将 HDFS 上的 `/user/test_data/sample_renamed.txt` 文件移动到 `/tmp/` 目录下。

**答案:**

```bash
hdfs dfs -mv /user/test_data/sample_renamed.txt /tmp/
```

**练习 6:**
查看 `/tmp/` 目录下 `sample_renamed.txt` 文件的详细信息（权限、所有者、大小等）。

**答案:**

```bash
hdfs dfs -ls /tmp/sample_renamed.txt
```

**练习 7:**
查看 HDFS 上 `/user/test_data` 目录的总大小，并以易读格式显示。

**答案:**

```bash
hdfs dfs -du -s -h /user/test_data
```
   或
```bash
hdfs dfs -dus -h /user/test_data
```

**练习 8:**
将 HDFS 上的 `/tmp/sample_renamed.txt` 文件复制到本地的 `/backup/` 目录下。

**答案:**

```bash
hdfs dfs -copyToLocal /tmp/sample_renamed.txt /backup/
```
或

```bash
hdfs dfs -get /tmp/sample_renamed.txt /backup/
```

**练习 9:**
递归删除 HDFS 上的 `/user/test_data` 目录及其所有内容。

**答案:**

```bash
hdfs dfs -rm -r /user/test_data
```

**练习 10:**
修改 HDFS 文件 `/data/conf/settings.xml` 的权限，使其所有者有读写权限，所属组有读权限，其他用户无权限（即 `rw-r-----` 或 `640`）。

**答案:**

```bash
hdfs dfs -chmod 640 /data/conf/settings.xml
```
    或
```bash
hdfs dfs -chmod u=rw,g=r,o= /data/conf/settings.xml
```

**练习 11:**
查看 HDFS 文件 `/var/log/hadoop/hdfs/hadoop-hdfs-namenode.log` 的最后 50 行内容。 (注意：`tail` 默认显示最后 1KB，没有直接按行数显示的选项，但这是常见的需求，实际效果取决于内容密度)

**答案:**

```bash
hdfs dfs -tail /var/log/hadoop/hdfs/hadoop-hdfs-namenode.log
```
（严格来说，HDFS `tail` 不支持 `-n` 参数，但通常用它来查看日志尾部）*

**练习 12:**
统计 HDFS 目录 `/data/weblogs` 下的文件和目录数量以及总大小。

**答案:**

```bash
hdfs dfs -count /data/weblogs
```

**练习 13:**
将 HDFS 文件 `/user/backup/archive.zip` 的副本数更改为 2。

**答案:**

```bash
hdfs dfs -setrep 2 /user/backup/archive.zip
```

**练习 14:**
在 HDFS 的 `/user/myapp/` 目录下创建一个名为 `_SUCCESS` 的空文件，通常用于标记 MapReduce 或 Spark 作业成功完成。

**答案:**

```bash
hdfs dfs -touchz /user/myapp/_SUCCESS
```

**练习 15:**
仅显示 HDFS 文件 `/data/processed/results.parquet` 的块大小（以字节为单位）。

**答案:**

```bash
hdfs dfs -stat %o /data/processed/results.parquet
```


通用格式:hdfs dfs -copyFromLocal [-f] [-p] <localsrc> ... <dst>hdfs dfs -put [-f] [-p] <localsrc> ... <dst>		（也指上传到）示例:

HDFS 常用命令

本文系统整理了 HDFS 的常用命令及其用法，涵盖文件和目录的创建、复制、移动、删除、查看、权限设置等多个方面，搭配详细示例帮助理解。此外，还设计了15道实战练习题，贴合日常运维与开发需求，从基本操作到权限控制一应俱全，帮助读者全面掌握 hdfs dfs 命令的实际应用。内容结构清晰、示例实用，是 Hadoop 学习者不可或缺的参考资料。

大数据

数据库

掌握HDFS常用命令大全：ls查看目录、mkdir创建文件夹、put/copyFromLocal上传文件、get/copyToLocal下载文件、cp/mv/rm操作文件、cat查看内容、chmod修改权限等。包含20+实用命令详解及示例，助你高效管理HDFS文件系统。

MapReduce

Spark 

HDFS

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

HDFS 常用命令-腾讯云开发者社区-腾讯云

HDFS 常用命令

HDFS 常用命令

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐