问如何在最后一步中组合dask期货？
EN

Stack Overflow用户

提问于 2020-01-02 21:07:23

回答 1查看 227关注 1票数 0

我启动了一个dask客户端，并通过循环向它发送任务。

tasks = []
for order in orderIDs:
   tasks.append(client.submit(process,allcars.get_group(order),allorders.get_group(order)))

任务完成后，列表中包含的pandas DataFrames如下所示：

[<Future: finished, type: pandas.DataFrame, key: process-93e68764db2995b23271abe5d531a5bf>, <Future: finished, type: pandas.DataFrame, key: process-04395a45d14a1ac440363d52379f5e55>]

在dask之前，我使用pd.concat来获得最终的数据帧。这比附加数据帧更快。

然而，pd.concat(tasks)抱怨"TypeError:不能连接类型为‘’的对象；只有序列和DataFrame对象是有效的“。

当我尝试dd.from_delayed(tasks)时，它报告"AttributeError:类型对象'DataFrame‘没有属性'from_delayed'“

如何连接(垂直堆叠)此列表的内容？有没有办法让这最后一步变得分布式？

dask

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-01-03 01:47:00

您希望将pd.concat函数提交到任务列表中。

future = client.submit(pd.concat, tasks)

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/59563901

复制

相似问题

问如何在最后一步中组合dask期货？
EN

回答 1

Stack Overflow用户

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何在最后一步中组合dask期货？EN

回答 1

Stack Overflow用户

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何在最后一步中组合dask期货？
EN