首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >dask :如何从将CSV文件读入DataFrame

dask :如何从将CSV文件读入DataFrame
EN

Stack Overflow用户
提问于 2017-12-10 18:01:28
回答 1查看 1.7K关注 0票数 3

S3Fs是S3的Pythonic文件接口,确实有到Azure 的任何Pythonic接口。Python‘提供了读取和写入blob的方法,但是接口要求将文件从云下载到本地机器。我正在寻找能够读取blob的解决方案,以支持DASK并行读取作为流或字符串,而不持久化到本地磁盘

EN

回答 1

Stack Overflow用户

发布于 2017-12-14 17:05:31

我在这里新推出了代码:https://github.com/dask/dask-adlfs

您可以从该位置进行pip,尽管您可能最好的服务于conda-预先安装需求(dask、cffi、oauthlib)。在python会话中,执行import dask_adlfs就足以向Dask注册后端了,这样您就可以在dask函数中使用azure URL了,比如:

代码语言:javascript
复制
import dask.dataframe as dd
df = dd.read_csv('adl://mystore/path/to/*.csv', storage_options={
    tenant_id='mytenant', client_id='myclient', 
    client_secret='mysecret'})

由于这段代码是全新的,没有经过测试,所以希望使用粗糙的边缘。如果运气好的话,你可以帮你把那些边缘熨平。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/47741801

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档