Dask: DataFrame计算耗时太长

文章/答案/技术大牛

发布

1回答

python、pandas、dask

我从一个大约50K行和5列的Pandas数据帧创建了一个Dask数据帧：然后我将一堆列(~30)添加到dataframe中，并尝试将其转换回Pandas dataframe：我查看了文档，如果我没有指定num_workers

浏览 1提问于2017-07-28得票数 4

1回答

dask.dataframe.read_parquet耗时太长

python-3.x、dask

我试着这样读s3上的拼图：times = dd.read_parquet"profile_name": bucket_profile, engine='pyarrow',仅创建dask尚未对此数据帧执行任何计算。我跟踪代码

浏览 2提问于2019-05-14得票数 3

1回答

如何在pandas DataFrame列的子组合上加速相同的计算？

python、pandas、dask

我希望将相同的函数应用于熊猫DataFrame的多个子组合。想象一下完整的DataFrame有15列，我想从这个完整的DataFrame中绘制一个包含10列的子帧，我总共会有3003个这样的子帧。我目前的方法是使用多处理，它适用于具有大约20列的完整DataFrame - 184,756个组合，但是真正的完整框架有50个列，导致超过100亿个组合，之后会花费太长时间。有没有适合这种类型计算的库？我以前用过dask，它的功能非常强大，但dask只适用于在

浏览 0提问于2021-04-16得票数 1

1回答

Pandas DataFrame耗时太长

python、pandas、dataframe

我在一个接近300k行的文件上运行下面的代码。我知道我的代码效率不是很高，因为它需要永远完成，有人能建议我如何加快它的速度吗？ import sysimport pandas as pd df.columns = ["ts", "proto", "orig_bytes", "orig_pkts", "resp_bytes&#

浏览 48提问于2019-12-18得票数 0

1回答

我怎样才能看到Dask DataFrame的数据预览？

python、dataframe、dask、preview

我从Pandas DataFrame创建了Dask DataFrame，并在其上应用了很少的函数。当我试图使用时间太长了。我怎样才能查看数据？

浏览 1提问于2017-03-23得票数 5

1回答

当追加多个列时，如何解释DataFrame.assign(**kwargs)和dd[x]=y在Dask中的性能差异？

python、pandas、dataframe、dask

在将一些代码从Pandas迁移到Dask时，我发现通过使用多列调用DataFrame.assign()来修改Dask数据帧与使用多个DataFrame.__setitem__() (也称为dataframe[x]=y)调用来修改它之间存在巨大的性能差异。使用导入对于定义如下的Dask数据帧： dd = dask.dataframe.from_pandas(pandas.<e

浏览 3提问于2020-04-16得票数 0

1回答

如何将dask数据文件保存到与dask剪切器/工人相同的机器上？

python、dask、parquet

我试图通过Dataframe保存到与Dask调度程序/工作人员所在的同一台机器上。但是，我在这段时间里遇到了麻烦。My安装程序：我的python脚本在本地计算机(笔记本电脑16 GB RAM)上执行，但该脚本为运行在远程计算机上的Dask调度程序(用于并行计算的具有400 GB RAM的服务器)创建了Dask客户端to persist the Dask dataframe in my workflow, but this #

浏览 2提问于2019-12-20得票数 2

回答已采纳

2回答

dask定制DataFrame加载

python、dataframe、dataset、dask、large-files

dask.dataframe.from_delayed逻辑地合并所有数据帧，就好像它们是一个可迭代的数据帧一样。当调用时，from_delayed遍历迭代(示例代码中的生成器)并创建延迟(pd.dataframe)的。 for i in range(10): yield delayed(pd.DataFrame</e

浏览 5提问于2022-05-04得票数 0

3回答

16M行csv与dask的并行转换

python、csv、dataframe、parquet、dask

以下操作工作正常，但耗时近2h：ddf.read_csv('data.csv').to_parquet('data.pq') 有办法并行化吗

浏览 1提问于2018-05-24得票数 4

回答已采纳

1回答

如何减少DASK数组map块的执行时间？

arrays、dask、dask-distributed

(例如，运行一个迭代5次) 最后，我使用dask array.map_blocks在dask数组的所有块上映射总函数。但是计算(即.compute的计算结果)仍然很耗时。有什么办法可以降低它吗？

浏览 8提问于2020-07-29得票数 0

1回答

从dask系列列表创建dask DataFrame

dataframe、dask

我需要从一组dask Series创建一个dask DataFrame，类似于从列表构建一个熊猫DataFrame我在dask DataFrame构造函数不应该被用户直接调用，它以计算图作为其主要参数。

浏览 13提问于2018-01-04得票数 4

回答已采纳

4回答

如何复制达斯克的数据？

python、dask

如果是熊猫df，你可以在做任何事情之前通过以下方式复制它：如何使用dask dataframe对象来完成此操作？

浏览 2提问于2016-08-03得票数 7

回答已采纳

1回答

如何在dask中找到数据帧的长度？

python、pandas、dask

如何使用dask找到数据帧的长度？例如，在熊猫中，我可以这样做：import numpy as npimport dask.dataframe as ddprint df_dask print df_daskDask

浏览 0提问于2018-05-28得票数 6

1回答

当计算/持久化6,700万行dask数据时内存被填满

python、out-of-memory、dask-dataframe

我可以计算()或导出任何单独的to_csv。我使用for循环来创建50个df，并将它们全部添加到一个列表中(我知道使用dask和for循环并不是最好的选择，我仍然在计算它)。但是，我不能对最终的dataframe进行计算()--即使它与每个indiv df具有相同的大小，而计算()的工作非常完美。当脚本占用其分配内存的95%时，它会被操作系统杀死。import dask.dataframe as dd import dask.arra

浏览 9提问于2022-02-28得票数 0

1回答

是否可以使用dask.compute将dask.DataFrame.categorize与另一个dask计算结合起来？

python、dask、dask-dataframe

我正在尝试避免重复使用dask.compute(list_of_dask_computations)进行dask计算。在我的代码中，我必须在dask dataframe中创建一些分类列，并调用dask.DataFrame.categorize来使类别成为已知的。但我希望与dask.compute(list_of_dask_computations)提供的其他列上的其他计算同时执行该调用。但我不知道该

浏览 12提问于2020-04-15得票数 0

1回答

如何从dask* Dataframe中仅提取50行？*

python、pandas、multiprocessing、dask

我只想从Dask dataframe中提取50行，但我不能。最后，我想创建一个新的Dataframe，每个类有50行。当我运行这段代码时， import dask.dataframe as dd classes = train_csv.landmark_id.unique我想索引可能是wrong.so运行这段代码， import dask.dataframe as dd

浏览 15提问于2019-04-30得票数 0

1回答

在列上合并dask

python、pandas、dataframe、dask、dask-dataframe

在这个脚本中，我对用户指定的列上的两个数据文件执行合并，并试图将其转换为dask。如何将这一行更改为与dask数据格式匹配？

浏览 2提问于2021-04-05得票数 4

回答已采纳

1回答

明智地使用已经做好的计算

dask、dask-delayed

现在我对它进行了一些计算。如何阻止达斯克重新计算df1的结果另一种情况是，如果我运行df3.compute()，那么df2.compute()。我如何告诉dask在运行df1时使用已经计算过的df3.compute()值(在df3.compute()中计算)

浏览 0提问于2018-07-02得票数 1

2回答

提高df.rolling(.).apply(.)的性能用于大型数据格式

python、pandas、dask、swifter

此代码的执行时间太长。我的数据格式是(500,10000)。我用最后255个日期值计算每个日期。myFunc看起来像： coefs = ...import swifter我也试过了达斯克，但我想我不太理解它，因为它的表现并不是更好： import dask.dataframe如何使用dask来提高性能？我

浏览 54提问于2022-11-18得票数 0

回答已采纳

1回答

实际上，我如何让dask计算一个延迟的或基于dask容器的结果的列表？

python、dask

对于许多跨文件的表，我有一个可并行的小任务，即独立计算结果。我可以构造延迟列表或dask.dataframe列表(并且已经尝试过了，例如dict)，并且我无法获得所有要计算的结果(我可以使用.get()从一个dask图形风格字典中获得单个结果，但同样不能轻松地计算所有结果.mean() for _ in range(2)]([<dask.dataframe.core.Scalar

浏览 4提问于2016-05-24得票数 6

回答已采纳

点击加载更多