如何使用dask dataframe中的rank函数？

文章/答案/技术大牛

发布

1回答

python、pandas、python-3.7、dask、rank

如何在dask数据帧上使用pandas的pd.rank()函数。或者，在dask中有没有其他的内置函数可以做同样的事情。

浏览 11提问于2019-10-23得票数 1

回答已采纳

1回答

从dask dataframe提供程序收集属性

python、pandas、dask

TL;DR：我如何从分布式读取中收集元数据(解析期间的错误)到dataframe集合中。目前，我有一种专用的文件格式，用于输入dask.DataFrame。我有一个函数，它接受一个文件路径并返回一个pandas.DataFrame，dask.DataFrame成功地在内部使用该函数将多个文件加载到同一个dask.Dat

浏览 7提问于2016-01-26得票数 2

回答已采纳

2回答

长文本文件(1.86亿行)在解析为表格式时占用太多空间

python、pandas、parsing、text、tabular

我正在Python3.7中运行一个模拟，它输出一个日志文件。这样可以避免内存错误。以下是日志文件的示例：> -16.313304965974524INFO:root:Rank: 9; Particle: 12; Distance: 1.0044817868831895; Time:

浏览 0提问于2020-07-08得票数 1

1回答

使用dask.bag和pandas.DataFrame将字典的dask.delayed转换为dask.dataframe

dask、dask-delayed

我正在努力将字典的dask.bag转换为dask.delayed pandas.DataFrames，使之成为最终的dask.dataframe到目前为止，我一直在使用dask.delayed对象来加载、转换和附加所有工

浏览 3提问于2019-03-22得票数 5

回答已采纳

1回答

如何使用Dask对大型数据集的单列应用功能？

python、dask、logarithm

如果应用函数在大型数据集的单个列上使用Dask计算日志，我如何做到这一点？df_train.apply(lambda x: np.log1p(x), axis=1 , meta={'column_name':'float32'}).compute() 数据集非常大(1.25亿行)，我如何做到这一点

浏览 0提问于2018-03-09得票数 7

1回答

如何对具有100多个工作表的xlsx文件的每个工作表以并行方式执行特定的功能？

python-3.x、parallel-processing、multiprocessing、dask、dask-delayed

我需要对每个工作表的数据执行一个特定的函数f()，并最终返回每个工作表操作的列表。注意:需要使用df.to_json()对每个工作表的数据进行jsonify处理

浏览 3提问于2020-06-20得票数 1

回答已采纳

1回答

从字典创建dask数据帧

pandas、dask

我有一本这样的字典： d = {'Caps': 'cap_list', 'Term': 'unique_tokens', 'LocalFreq': 'local_freq_list','CorpusFreq': 'corpus_freq_list'} 我想从它创建一个dask数据帧。通常，在Pandas中，可以通过以下方式轻松地将is导入Pandas df： df = pd.

浏览 28提问于2019-12-17得票数 3

1回答

Python任务模块错误..AttributeError：'_io.TextIOWrapper‘对象没有'startswith’属性

python-3.x、dask-dataframe

我正在尝试学习如何使用dask模块来克服脚本中的内存问题。当我读取csv并从它创建dask数据帧时，我得到了以下错误： File "C:\Users\username\AppData\Local\Programs\Python\Python39\lib\site-packagespath.startswith("file://"): AttributeError: '_io.TextIOWrapper' obje

浏览 271提问于2021-02-02得票数 0

1回答

在对单个数据帧进行计算后，使用Dask返回多个数据帧

python-3.x、pandas、dask

有没有办法获取一个DataFrame (最初在Pandas中，用不同的随机种子对其进行采样，并使用Dask返回几个数据帧(每个随机种子一个)。我对Dask非常原始的理解是，我可以获取一个Dataframe，拆分它，然后在它上面进行计算，但我想知道我是否可以使用Dask来解决这个问题。

浏览 19提问于2019-06-28得票数 0

回答已采纳

1回答

使用Dask映射分区时，解压函数内部的元组

python、pandas、dask

我尝试在Dask数据帧的多个分区上运行一个函数。该代码需要解压元组，并且可以很好地与Pandas一起工作，但不能与Dask map_partitions一起工作。Pandas dataframe# Run function over Dask dataframe在这里，is below:ValueError('not

浏览 27提问于2021-02-24得票数 1

回答已采纳

1回答

使用从拼花文件创建的dataframe时内存使用量过高

parquet、dask

当我尝试执行像dask_train_df.head()或dask_train_df.loc[2:4].compute()这样的简单操作时，我会得到内存错误，即使是使用17+ GB的内存。1)因此，我的问题是，为什么这些简单的操作会使用Dask Dataframe来破坏内存的使用，但是当我使用Pandas Dataframe将所有内容加载到内存<e

浏览 0提问于2018-12-24得票数 6

回答已采纳

1回答

Dask中延迟函数与正常函数的区别

python、dask

我创建了一个Aggregation对象来模拟pandas的first操作，它可以很好地处理dask dataframe，但是在延迟函数中使用时，它会给出一个pandas错误'Aggregation' objectis not callable，而在本例中，只使用pandas就可以了。在后来的检查中，我发现在添加@delayed装饰器时，我的接收Dask DataFrame

浏览 5提问于2017-12-19得票数 2

回答已采纳

1回答

Dask dataframe没有属性分类

python、dataframe、dask、dask-delayed

我正在尝试将带有分类列的Dask数据存储到*.h5文件中，每个 - 1:23:25 - 1:23:45。下面是我对store函数的调用：函数store是：def store(ddfddf和stored类型如下：>>&

浏览 4提问于2017-05-20得票数 1

回答已采纳

1回答

如何使用dask分布式？

python、dask、dask-distributed

我试图通过查看代码示例和文档来使用Dask，并且很难理解它是如何工作的。正如文档中所建议的，我正在尝试使用分布式调度程序(我还计划在HPC上部署我的代码)。我可以将我的打印语句移动到一个函数中： client = Client(n_workers=2) def print_func():print("hello world&

浏览 5提问于2021-05-20得票数 0

回答已采纳

1回答

DASK的RAM问题及其from_pandas函数

python、pandas、ram、dask

我试图使用Python3.4中的DASK包来避免大型数据集出现RAM问题，但我注意到了一个问题。使用本机函数"read_csv“，我使用不足150 of的RAM将大数据集加载到dataframe中。相同的数据集读取与熊猫DB连接(使用限制和偏移选项)和达克函数“from_pandas”填充我的公羊到500/750 MB。我无

浏览 4提问于2016-07-04得票数 1

回答已采纳

1回答

根据dask元数据错误中的字典替换列值

python、pandas、dataframe、dask

'C': 'Q'}P 8Q 9df = df.mask(df[0], aliases)编辑：我试着按照帖子中<

浏览 15提问于2020-11-26得票数 1

1回答

在任务数据帧中使用map_partitions获取目录名

pandas、directory、dask、dask-dataframe

我正在寻找一些关于dask数据帧结果的帮助。我有一个dask数据帧，其中包含来自144个csv文件的144个数据帧。我想从这些数据帧中的一列中获取最大值并返回它，以及它所属的文件夹的名称。我一直在使用map_patitions来获得我正在寻找的结果，但是，没有与分区结果相关联的标识符，所以很难将结果应用于其他用途。任何帮助都将不胜感激！下面是我使用的</e

浏览 23提问于2020-03-21得票数 1

1回答

Dask -在map_partition调用时返回dask.dataframe

python-3.x、pandas、dataframe、dask、dask-dataframe

我想知道如何在调用map_partitions而不是pd.Dataframe时返回dask Dataframe，以避免内存问题。-----2 Max pet_24 Oscar pet_4def get_pets_appoin

浏览 2提问于2020-12-01得票数 0

1回答

如何操作Dask的group by返回的组？

dask

Dask中做同样的事情？我不能按原样使用pandas函数，因为你不能在Dask中枚举groupby对象。这 import dask.dataframe as dd list(d.groupby("category")) 引发KeyError我可以使用apply函数来计算Dask中

浏览 15提问于2019-10-18得票数 0

回答已采纳

3回答

如何将dask.dataframe与自定义dsk图一起使用

python、dask

我将尝试重新表述我的问题：id,names,amount387,Tim,208129,Patricia,284import dask.dataframe as ddfrom <em

浏览 5提问于2015-10-21得票数 2

回答已采纳

点击加载更多