我正在尝试使用hdfs3库列出HDFS目录中的文件:
Python 3.5.2 |Anaconda 4.2.0 (64-bit)
>>> from hdfs3 import HDFileSystem
>>> hdfs = HDFileSystem(host='abc.com', port=8020)
>>> hdfs.ls('/user/user123')
[{'group': 'group321', 'name': '/user/user123/.Trash' ... }]
>>> hdfs.ls('/user')
[]
我将python作为user123运行。目录/user/user123归user123所有。目录/user归其他用户所有,但每个人都可以读取:
[user123@hostname ~]$ hdfs dfs -ls /
Found 12 items
drwxr-xr-x - admin admin 0 2016-10-21 09:39 /user
...
不幸的是,在这种情况下,HDFS库只读取/列出所有者的hdfs3文件/目录,没有其他内容。
有人能帮上忙吗?
发布于 2017-01-27 23:53:37
我想,这是包中的一个bug。我发现使用另一个包很有用: hdfs。它可以通过以下命令安装:
pip install hdfs
或
conda install -c conda-forge python-hdfs
https://stackoverflow.com/questions/40405527
复制相似问题