前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >HDFS Shell CLI客户端2

HDFS Shell CLI客户端2

原创
作者头像
用户8639654
修改2021-07-15 11:07:54
2030
修改2021-07-15 11:07:54
举报
文章被收录于专栏:云计算运维云计算运维

四、参数说明

HDFS文件系统的操作命令很多和Linux类似,因此学习成本相对较低。

可以通过hadoop fs -help命令来查看每个命令的详细用法。

代码语言:javascript
复制
Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]

        [-cat [-ignoreCrc] <src> ...]

        ……

-appendToFile <localsrc> ... <dst> :
  
Appends the contents of all the given local files to the given dst file. The dst
  
file will be created if it does not exist. If <localSrc> is -, then the input is
  
read from stdin.
-cat [-ignoreCrc] <src> ... :
  Fetch all files that match the file pattern <src> and display their content on

  stdout.

shell客户端

HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、mkdir、rm等。

Hadoop提供了文件系统的shell命令行客户端,使用方法如下:

代码语言:javascript
复制
Usage: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]

示例:

代码语言:javascript
复制
# 查看HDFS中/parent/child目录下的文件或者文件夹
hdfs dfs -ls  /parent/child  
  • l 所有HDFS命令都可以通过bin/hdfs脚本执行。
  • l 还有一个hadoop命令也可以执行文件系统操作,还可以用来提交作业,此处我们均使用hdfs,为了更好地区分和对hdfs更好的支持。

说明:

  • l 文件系统shell包括与Hadoop分布式文件系统(HDFS)以及Hadoop支持的其他文件系统(如本地FS,HFTP FS,S3 FS等)直接交互的各种类似shell的命令
  • l 所有FS shell命令都将路径URI作为参数。URI格式为scheme://authority/path。对于HDFS,该scheme是hdfs,对于本地FS,该scheme是file。scheme和authority是可选的。如果未指定,则使用配置中指定的默认方案

命令如下:

代码语言:javascript
复制
# 查看指定目录下的文件
hdfs dfs -ls  hdfs://namenode:host/parent/child
# hdfs-site.xml中的fs.defaultFS中有配置
hdfs dfs -ls  /parent/child  

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 四、参数说明
  • shell客户端
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档