使用 Python 操作 HDFS

一份执着✘

发布于 2018-06-04 17:10:55

1.8K0

发布于 2018-06-04 17:10:55

文章被收录于专栏：赵俊的Java专栏

前言

本文是在 Hadoop 伪分布式环境搭建的基础上运行的，请先安装 Hadoop 环境。

注：文本中的代码块中的 >>> 表示的是输入的 Python 语句，其他的语句是运行后输出。

安装

这里使用的是 pip 安装，很方便：

1	pip install hdfs

Client—创建连接

12	from hdfs import *>>> client = Client("http://127.0.0.1:50070")

其他参数说明：

classhdfs.client.Client(url, root=None, proxy=None, timeout=None, session=None)
                url：ip：端口
                root：制定的hdfs根目录
                proxy：制定登陆的用户身份
                timeout：设置的超时时间
                seesion：requests.Session instance, used to emit all requests.

status—获取路径的具体信息

123	client.status("/") {'accessTime': 0, 'pathSuffix': '', 'group': 'supergroup', 'type': 'DIRECTORY', 'owner': 'root', 'childrenNum': 4, 'blockSize': 0, 'fileId': 16385, 'length': 0, 'replication': 0, 'storagePolicy': 0, 'modificationTime': 1473023149031, 'permission': '777'}

其他参数：status(hdfs_path, strict=True)
        hdfs_path：就是hdfs路径
        strict：设置为True时，如果hdfs_path路径不存在就会抛出异常，
                如果设置为False，如果路径为不存在，则返回None

list—获取指定路径的子目录信息

12	client.list("/") []

其他参数：list(hdfs_path, status=False)
          status：为True时，也返回子目录的状态信息，默认为Flase

makedirs—创建目录

123	client.makedirs("/test") >>> client.list("/") u'test'

其他参数：makedirs(hdfs_path, permission=None)
                permission：设置权限

rename—重命名

123	client.rename('/test', '/new_test')>>> client.list('/')u'new_test'

delete—删除

123456	client.list('/')u'new_test'>>> client.delete("/new_test") True >>> client.list('/')[]

其他参数：delete(hdfs_path, recursive=False)
    recursive：删除文件和其子目录，设置为False如果不存在，
    则会抛出异常，默认为False

upload—上传数据

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2017-10-272，如有侵权请联系 cloudcommunity@tencent.com 删除

python

hadoop

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

python

hadoop

登录后参与评论

0 条评论

热度

使用 Python 操作 HDFS

使用 Python 操作 HDFS

前言

安装

Client—创建连接

status—获取路径的具体信息

list—获取指定路径的子目录信息

makedirs—创建目录

rename—重命名

delete—删除

upload—上传数据

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐