开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >将火花数据转换为dask数据

问将火花数据转换为dask数据
EN

Stack Overflow用户

提问于 2018-07-18 20:11:19

回答 1查看 2.9K关注 0票数 6

是否有一种方法可以直接将火花数据转换成Dask数据。？

目前，我正在使用星火的.toPandas()函数将其转换为熊猫数据格式，然后转换为dask数据格式。我认为这是低效率的操作，没有利用达斯克的分布式处理能力，因为熊猫永远是瓶颈。

dask-distributed

EN

回答 1

Stack Overflow用户

发布于 2018-07-18 22:26:32

我可能能给你一个有效的答案，从每个达斯克工人调用火花放电，但首先，我要指出，节省到地板和加载的结果可能是最快和最简单的方法，你可以使用。

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/51410264

复制

相似问题