S3Fs是S3的Pythonic文件接口,确实有到Azure 的任何Pythonic接口。Python‘提供了读取和写入blob的方法,但是接口要求将文件从云下载到本地机器。我正在寻找能够读取blob的解决方案,以支持DASK并行读取作为流或字符串,而不持久化到本地磁盘。
发布于 2017-12-14 17:05:31
我在这里新推出了代码:https://github.com/dask/dask-adlfs
您可以从该位置进行pip,尽管您可能最好的服务于conda-预先安装需求(dask、cffi、oauthlib)。在python会话中,执行import dask_adlfs就足以向Dask注册后端了,这样您就可以在dask函数中使用azure URL了,比如:
import dask.dataframe as dd
df = dd.read_csv('adl://mystore/path/to/*.csv', storage_options={
tenant_id='mytenant', client_id='myclient',
client_secret='mysecret'})由于这段代码是全新的,没有经过测试,所以希望使用粗糙的边缘。如果运气好的话,你可以帮你把那些边缘熨平。
https://stackoverflow.com/questions/47741801
复制相似问题