首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hadoop-3.2.0------>入门十八hadoop之HDFS的shell命令操作

hadoop-3.2.0------>入门十八hadoop之HDFS的shell命令操作

作者头像
用户5899361
发布2020-12-07 15:36:25
5720
发布2020-12-07 15:36:25
举报
文章被收录于专栏:学习java的小白学习java的小白

基本语法

bin/hadoop fs
bin/hdfs dfs

上面两个命令均可以使用,dfs是fs的实现类

命令大全

1、启动hadoop

sbin/start-dfs.sh
sbin/start-yarn.sh

2、输出这个命令参数

hadoop fs -help rm

3、显示目录信息

#查看根目录
hadoop fs -ls /
#递归查看所有文件目录
hadoop fs -lsr /

4、在hdfs上创建文件夹

hadoop fs -mkdir -p /user/root

5、从本地剪切文件并粘贴到HDFS上

#创建test.txt文件
touch test.txt
#剪切本地文件并粘贴到hdfs上
hadoop fs -moveFromLocal ./test.txt /user/root

6、追加一个文件到已经存在的文件末尾

#创建测试文本2
touch test2.txt
#编辑文本
vi test2.txt
#文本中输入内容
zhangsan   lisi   wangwu
#退出编辑模式
点击键盘左上角ESC
#保存并退出
:wq!
#上传文件并追加到test文本中
hadoop fs -appendToFile test2.txt /user/root/test.txt

7、显示文件内容

hadoop fs -cat /user/root/test.txt

8、修改文件所属权限

hadoop fs -chmod 666 /user/root/test.txt
hadoop fs -chown root:root /user/root/test.txt

9、从本地文件系统中拷贝文件到HDFS路径中

hadoop fs -copyFromLocal README.txt /

10、将HDFS上文件拷贝到本地

hadoop fs -copyToLocal /user/root/test.txt ./

11、将HDFS上的文件从一个路径拷贝到另一个路径

hadoop fs -cp /user/root/test.txt /

12、在HDFS目录中移动文件

hadoop fs -mv /user/root/test.txt /user

13、等同于copyToLocal,从HDFS下载文件到本地

hadoop fs -get /user/root/test.txt ./

14、合并下载多个文件,比如HDFS目录/user/root下有多个文件:test.txt,test2.txt,test3.txt....

hadoop fs -getmerge /user/root/* ./test.txt

15、等同于copyFromLocal

hadoop fs -put ./test.txt /user/root/

16、显示一个文件末尾

hadoop fs -tail /user/root/test.txt

17、删除文件或文件夹

hadoop fs -rm /user/root/test.txt

18、删除空目录

hadoop fs -rmdir /user/root/input

19、统计文件夹的大小信息

hadoop fs -du -s -h /user/root

20、设置HDFS中文件副本数量

hadoop fs -setrep 10 /user/root/test.txt
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 基本语法
  • 命令大全
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档