前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >使用 Python 操作 HDFS

使用 Python 操作 HDFS

作者头像
一份执着✘
发布2018-06-04 17:10:55
1.8K0
发布2018-06-04 17:10:55
举报
文章被收录于专栏:赵俊的Java专栏

前言

本文是在 Hadoop 伪分布式环境搭建的基础上运行的,请先安装 Hadoop 环境。

注: 文本中的代码块中的 >>> 表示的是输入的 Python 语句,其他的语句是运行后输出。

安装

这里使用的是 pip 安装,很方便:

1

pip install hdfs

Client—创建连接

12

from hdfs import *>>> client = Client("http://127.0.0.1:50070")

其他参数说明:

代码语言:javascript
复制
classhdfs.client.Client(url, root=None, proxy=None, timeout=None, session=None)
                url:ip:端口
                root:制定的hdfs根目录
                proxy:制定登陆的用户身份
                timeout:设置的超时时间
                seesion:requests.Session instance, used to emit all requests.

status—获取路径的具体信息

123

client.status("/") {'accessTime': 0, 'pathSuffix': '', 'group': 'supergroup', 'type': 'DIRECTORY', 'owner': 'root', 'childrenNum': 4, 'blockSize': 0, 'fileId': 16385, 'length': 0, 'replication': 0, 'storagePolicy': 0, 'modificationTime': 1473023149031, 'permission': '777'}

代码语言:javascript
复制
其他参数:status(hdfs_path, strict=True)
        hdfs_path:就是hdfs路径
        strict:设置为True时,如果hdfs_path路径不存在就会抛出异常,
                如果设置为False,如果路径为不存在,则返回None

list—获取指定路径的子目录信息

12

client.list("/") []

代码语言:javascript
复制
其他参数:list(hdfs_path, status=False)
          status:为True时,也返回子目录的状态信息,默认为Flase

makedirs—创建目录

123

client.makedirs("/test") >>> client.list("/") u'test'

代码语言:javascript
复制
其他参数:makedirs(hdfs_path, permission=None)
                permission:设置权限

rename—重命名

123

client.rename('/test', '/new_test')>>> client.list('/')u'new_test'

delete—删除

123456

client.list('/')u'new_test'>>> client.delete("/new_test") True >>> client.list('/')[]

代码语言:javascript
复制
其他参数:delete(hdfs_path, recursive=False)
    recursive:删除文件和其子目录,设置为False如果不存在,
    则会抛出异常,默认为False

upload—上传数据

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017-10-272,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 安装
  • Client—创建连接
  • status—获取路径的具体信息
  • list—获取指定路径的子目录信息
  • makedirs—创建目录
  • rename—重命名
  • delete—删除
  • upload—上传数据
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档