FS Shell命令与JAVA实现操作HDFS文件

HDFS Shell命令

创建目录

列表

查看文件内容

上传文件

获取文件

移动文件

复制文件

删除文件

测试文件命令

文件是否存在

文件是否0字节

文件是否为目录

显示目录中所有文件大小

清空回收站

JAVA操作HDFS的APIhadoop文件系统API说明与编程步骤

Hadoop提供的文件系统的API

Configuration():

注:如果其它的配置文件如hdfs-site.xml,mapred-site.xml需要手动加载读取,记载方法是conf.addResource(“hdfs-site.xml”)格式。如果单独改变参数,conf.set(参数名,值)

例:

5、FileStatus类():代表文件的详细信息

6、java.net.URI

使用FileSystem API编程步骤

1、 获取Configuration对象

2、 获取文件系统的实例FileSystem对象

3、 使用FileSystem对象操作文件

使用hadoop提供的文件系统API操作数据(读增删改名复制和文件详细信息)

读取文件内容打印在控制台

都是按照步骤来操作的上面都有备注,在这里我就另外说一下IOUtils.copyBytes()方法参数的意思:

创建文件并将Hello World写进文件中

将本文件上传到hdfs

删除一个文件

重命名/移动文件

获取文件信息

到这就讲解完毕了!!!感谢各位老铁的阅读

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180212G04T1T00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动