前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >HDFS的shell命令操作

HDFS的shell命令操作

作者头像
用户4870038
发布2021-02-05 11:36:41
3080
发布2021-02-05 11:36:41
举报
文章被收录于专栏:MyBatis入门案例-注解
  1. -help :输出这个命令参数
代码语言:javascript
复制
bin/hdfs dfs -help rm
  1. -ls :显示目录信息
代码语言:javascript
复制
hdfs dfs -ls /
  1. -mkdir :在hdfs上创建目录
代码语言:javascript
复制
hdfs dfs -mkdir -p /aaa
  1. -moveFromLocal :从本地剪切粘贴到hdfs
代码语言:javascript
复制
hdsf dfs -moveFromLcal 本地路径 hdfs路径
hdfs dfs  -moveFromLocal  /home/Hadoop/a.txt  /aaa/bbb/cc/dd
  1. -appendToFile : 追加一个文件到已经存在的文件结尾
代码语言:javascript
复制
hdfs dfs  -appendToFile  ./hello.txt  /hello.txt
  1. -cat :显示文件内容
代码语言:javascript
复制
hdfs dfs  -cat   /hadoop-daemon.sh
  1. -text :以字符形式打印一个文件的内容
代码语言:javascript
复制
hdfs dfs  -text  /weblog/access_log.1
  1. -chgrp 、-chmod、-chown:linux文件系统中的用法一样,修改文件所属权限
代码语言:javascript
复制
hdfs dfs  -chmod  666  /hello.txt
hdfs dfs  -chown  someuser:somegrp   /hello.txt
  1. -copyFromLocal:从本地文件系统中拷贝文件到hdfs路径去
代码语言:javascript
复制
hdfs dfs  -copyFromLocal  ./jdk.tar.gz  /aaa/
  1. -copyToLocal:从hdfs拷贝到本地 hdfs dfs -copyToLocal /aaa/jdk.tar.gz
  2. -cp :从hdfs的一个路径拷贝到hdfs的另一个路径
代码语言:javascript
复制
hdfs dfs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2
  1. -mv:在hdfs目录中移动文件
代码语言:javascript
复制
hdfs dfs  -mv  /aaa/jdk.tar.gz  /
  1. -get:等同于copyToLocal,就是从hdfs下载文件到本地
代码语言:javascript
复制
hdfs dfs -get  /aaa/jdk.tar.gz
  1. -getmerge :合并下载多个文件,比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,…
代码语言:javascript
复制
hdfs dfs -getmerge /aaa/log.* ./log.sum
  1. -put:等同于copyFromLocal
代码语言:javascript
复制
hdfs dfs  -put  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2
  1. -rm:删除文件或文件夹
代码语言:javascript
复制
hdfs dfs -rm -r /aaa/bbb/
  1. -rmdir:删除空目录
代码语言:javascript
复制
hdfs dfs  -rmdir   /aaa/bbb/ccc
  1. -df :统计文件系统的可用空间信息
代码语言:javascript
复制
hdfs dfs  -df  -h  /
  1. -du统计文件夹的大小信息
代码语言:javascript
复制
hdfs dfs  -du  -s  -h /aaa/*
  1. -count:统计一个指定目录下的文件节点数量
代码语言:javascript
复制
hdfs dfs -count /aaa/
  1. -setrep:设置hdfs中文件的副本数量
代码语言:javascript
复制
hdfs dfs -setrep 3 /aaa/jdk.tar.gz

这里设置的副本数只是记录在namenode的元数据中,是否真的会有这么多副本,还得看datanode的数量。因为目前只有3台设备,最多也就3个副本,只有节点数的增加到10台时,副本数才能达到10。

    • expunge :清空hdfs垃圾桶
代码语言:javascript
复制
hdfs dfs  -expunge
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/11/05 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档