如何在map_paritions中访问dask数据帧索引值？
在Dask中，可以使用map_partitions方法对Dask数据帧进行分区级别的操作。要在map_partitions中访问Dask数据帧的索引值，可以使用reset_index方法将索引重置为列，然后在map_partitions中访问该列。
以下是一个示例代码：
import dask.dataframe as dd
# 创建一个Dask数据帧
df = dd.from_pandas(pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]}), npartitions=2)
# 重置索引为列
df = df.reset_index()
# 在map_partitions中访问索引列
def process_partition(partition):
# 访问索引列
index_values = partition['index']
# 进行其他操作
# ...
return partition
# 应用map_partitions方法
result = df.map_partitions(process_partition)
# 打印结果
print(result.compute())在上述示例中，首先使用reset_index方法将索引重置为列。然后，定义了一个process_partition函数，在该函数中可以访问索引列index，并进行其他操作。最后，使用map_partitions方法将process_partition函数应用于Dask数据帧的每个分区，并通过compute方法获取最终结果。
请注意，以上示例中的代码仅用于演示目的，实际应用中需要根据具体需求进行适当的修改和扩展。
关于Dask的更多信息和使用方法，可以参考腾讯云Dask相关产品和文档：
- 腾讯云Dask产品介绍：Dask - 分布式计算框架
- 腾讯云Dask产品文档：Dask 产品文档
相关·内容
3回答
AttributeError：'DataFrame‘对象没有属性'sort_values’
python、python-3.x、pandas、dataframe、dask
我只是想通过一个特定的列来订购dataframe。
代码1 --如果我称它为ddf，则显示为ddf。
my_ddf
输出1
npartitions=1
headers .....
代码2
my_ddf.sort_values('id', ascending=False)
输出2
AttributeError Traceback (most recent call last)
<ipython-input-374-35ce4bd06557> in <module>
----> 1 my_dd
浏览 5提问于2021-01-27得票数 2
回答已采纳
1回答
在Dask中使用pandas剪切功能
pandas、dask
如何在Dask中使用pd.cut()？由于数据集很大，我无法在完成pd.cut()之前将整个数据集放入内存。 当前代码可以在Pandas中运行，但需要更改为Dask： import pandas as pd
d = {'name': [1, 5, 1, 10, 5, 1], 'amount': [1, 5, 3, 8, 4, 1]}
df = pd.DataFrame(data=d)
#Groupby name and add column sum (of amounts) and count (number of grouped rows)
df = (
浏览 38提问于2020-09-18得票数 1
回答已采纳
2回答
从dask dataframe保存多个地块文件
python、dask、parquet
我想从Dask dataframe中保存多个拼图文件，一个拼图文件用于特定列中的所有唯一值。因此，拼图文件的数量应该等于该列中唯一值的数量。
例如，给定以下数据帧，我想保存四个拼图文件，因为在列"A“中有四个唯一的值。
import pandas as pd
from dask import dataframe as dd
df = pd.DataFrame(
{
"A": [1, 1, 2, 3, 1, 3, 6, 6],
"B": ["A", "L", "C",
浏览 5提问于2021-04-09得票数 1
1回答
如何将dask.Series中的dask.Dataframe乘以行数？
python、pandas、dask
normalised = data.mul(alpha, axis=1)
在上面的代码片段中，data是一个dask.Dataframe，alpha是一个dask.Series。
Dask在执行此乘法时会引发ValueError: Unable to mul dd.Series with axis=1错误。如果我计算alpha (例如alpha.compute() )，这个操作就行了，但是因为alpha是一个大任务，所以我想避免在代码的这个阶段调用compute。
有没有人能想出一个更好的解决方案来执行这个操作？
下面是一个可重复使用的示例：
import pandas as pd
impor
浏览 1提问于2020-01-09得票数 0
2回答
python dask DataFrame，支持(微不足道的并行)行应用？
python、pandas、parallel-processing、dask
我最近发现了一个旨在成为易于使用的并行处理模块的python模块。对我来说，最大的卖点是它可以和熊猫一起工作。
在阅读了它的手册页面后，我找不到一种方法来完成这个微不足道的并行化任务：
ts.apply(func) # for pandas series
df.apply(func, axis = 1) # for pandas DF row apply
目前，为了在dask，AFAIK中实现这一点，
ddf.assign(A=lambda df: df.apply(func, axis=1)).compute() # dask DataFrame
，这是丑陋的语法，实际上比直接的慢。
df.
浏览 1提问于2015-07-12得票数 48
回答已采纳
1回答
按行块处理dask数据帧
python、pandas、dask
我有一个使用某个blocksize的区块创建的dask数据帧 df = dd.read_csv(filepath, blocksize = blocksize * 1024 * 1024) 我可以像这样分块处理它： partial_results = []
for partition in df.partitions:
partial = trivial_func(partition[var])
partial_results.append(partial)
result = delayed(sum)(partial_results) (在这里，我尝试使用map_partit
浏览 11提问于2021-01-22得票数 1
回答已采纳
1回答
Dask延迟的sum被杀死，但有足够的资源
python、dask、dask-delayed、dask-dataframe
我正在创建一个函数，该函数读取整个文件夹，创建一个Dask数据帧，然后处理该数据帧的分区并对结果求和，如下所示： import dask.dataframe as dd
from dask import delayed, compute
def partitions_func(folder):
df = dd.read_csv(f'{folder}/*.csv')
partial_results = []
for partition in df.partitions:
partial = another_function(partit
浏览 6提问于2021-02-04得票数 1
回答已采纳
1回答
dask dataframe:来自分区的生成器
python、pandas、generator、dask、dask-dataframe
我想知道是否有可能将dask对象转换为生成器。具体地说，是否可以使用dask数据帧复制以下pandas-based生成器，将每个分区转换为生成器：
import pandas as pd
import dask.dataframe as dd
df = pd.DataFrame(range(10), columns=['a'])
ddf = dd.from_pandas(df, npartitions=3)
def gen_pandas(df):
# this is a sample function, its content is not
# important as l
浏览 7提问于2021-07-09得票数 1
1回答
使用Dask映射分区时，解压函数内部的元组
python、pandas、dask
我尝试在Dask数据帧的多个分区上运行一个函数。该代码需要解压元组，并且可以很好地与Pandas一起工作，但不能与Dask map_partitions一起工作。数据对应于元组列表，其中列表的长度可以变化，但元组始终具有已知的固定长度。
import dask.dataframe as dd
import pandas as pd
def func(df):
for index, row in df.iterrows():
tuples = row['A']
for t in tuples:
x, y = t
浏览 27提问于2021-02-24得票数 1
回答已采纳
1回答
Dask -在map_partition调用时返回dask.dataframe
python-3.x、pandas、dataframe、dask、dask-dataframe
我想知道如何在调用map_partitions而不是pd.Dataframe时返回dask Dataframe，以避免内存问题。
输入数据帧
id | name | pet_id
---------------------
1 Charlie pet_1
2 Max pet_2
3 Buddy pet_3
4 Oscar pet_4
map_partitions的预期输出
pet_id | name | date | is_healty
------------------------------------------
浏览 2提问于2020-12-01得票数 0
1回答
理解map_partitions在dask中的作用
python、dataframe、parallel-processing、dask
我正在尝试理解dask中的map_partitions是做什么的。下面是我的例子：
import dask.dataframe as dd
import pandas as pd
from dask.multiprocessing import get
import random
df = pd.DataFrame({'col_1':random.sample(range(10000), 100), 'col_2': random.sample(range(10000), 100) })
def test_f(df):
print(df.col_1)
浏览 0提问于2017-11-06得票数 1
1回答
返回达斯克中的数据
python、pandas、dask
的目标：加快在大数据帧(190万行)上应用函数行的速度
尝试：使用dask map_partitions，其中分区==核数。我编写了一个应用于每一行的函数，创建了一个包含可变数量的新值(介于1到55之间)的dict。此功能独立工作。
问题：--我需要一种将每个函数的输出组合成最终数据的方法。我尝试使用df.append，在这里我会将每个数据块附加到一个新的dataframe中并返回这个dataframe。如果我理解Dask，那么Dask应该将它们组合成一个大的DF。不幸的是，这一行正在触发一个错误(ValueError:无法将输入数组从形状(56)广播到形状(1))。这让我相信这与Dask中的
浏览 0提问于2018-07-30得票数 0
回答已采纳
2回答
索引到Dask系列可以返回Dask系列
python、pandas、dask
我有Dask系列的Dask数据帧。
我想在本系列中建立索引，以获取dask数据帧以供后续工作使用。
但是，使用loc[0]会导致另一个dask系列。使用to_frame也不起作用，因为结果是"Dask系列Dask数据帧的Dask数据帧“。
下面是一个使用Dask系列Pandas数据帧的最小示例(不完全相同，但说明了问题)：
import pandas as pd
import dask.dataframe as dd
pdf1 = pd.DataFrame({'a': [1,2,3,4], 'b': [4,3,2,1]})
pdf2 = pd.Data
浏览 3提问于2020-02-03得票数 1
1回答
基于列值的Python Dask数据帧分离
python、dataframe、subset、data-science、dask
我完全是python dask的新手(对熊猫有一点经验)。我有一个很大的Dask Dataframe (大约1,000到2,000万行)，我必须根据一个唯一的列值来分隔它。 例如，如果我有以下数据帧，列C1到Cn (对不起，我不知道如何在stackoverflow中创建一个合适的表)，并且我想为列C2的每个唯一值创建子集数据帧 Base Dataframe:
|Ind| C1 | C2 |....| Cn |
|-----------------------|
| 1 |val1| AE |....|time|
|-----------------------|
| 2 |val2| F
浏览 10提问于2019-01-10得票数 2
回答已采纳
2回答
如何将多个函数应用于dataframe的多个块？
python、pandas、function、dataframe、dask
我有50万行和3列的数据。我想要为dataframe中的每5,000行代码块(即100块)计算三个函数的结果。这三个函数中有两个是使用定义的，第三个是第3列中值的平均值。
目前，我首先提取一个块，然后计算该块的函数结果。对于第3列的平均值，我使用的是df.iloc[:,2].compute().mean()，但其他函数是在dask之外执行的。
有没有一种方法可以利用达斯克的多线程能力，将整个数据帧和块大小作为输入，并让它计算相同的函数，但却是自动的？这似乎是使用达斯克的更合适的方式。
而且，对我来说，这就像是一个基本的dask问题，所以如果这是一个重复的问题，请告诉我正确的地方(我对dask还
浏览 5提问于2020-03-13得票数 0
回答已采纳
1回答
使用Dask并行任务，对于Dataframe中的每一行，都不返回任何
dataframe、dask
我希望在Dataframe上加速一个任务，该任务为每一行保存一个图像到本地文件夹。所以，它什么也不回。我试图使用Dask运行该函数，但是Dask似乎要求函数返回一些内容；我无法使.apply工作.
还有其他办法让这件事成功吗？
更新:最少可复制的示例
import dask.dataframe as dd
import pandas as pd
doc = pd.DataFrame({'file_name': ['Bob', 'Jane', 'Alice','Allan'],
&#
浏览 2提问于2022-10-18得票数 0
1回答
如何在dask中转换/重命名类别
python、dask
我正在尝试将dask数据帧的dtype 'category‘列的类别重命名为从1到len(类别)的一系列数字。
在熊猫中，我是这样做的：
df['name'] = dd.Categorical(df.name).codes
但在dask中，这是行不通的：
Traceback (most recent call last):
File "example.py", line 47, in <module>
sys.exit(main(sys.argv))
File "example.py", line 25, in
浏览 0提问于2016-10-19得票数 1
1回答
在dask数据帧上的列上应用.map_partition时出错
python、dataframe、dask
我最近决定更具冒险精神，尝试探索更多的DASK数据帧。我正在尝试将一个特定的函数应用于其中一个列数据帧，我使用的语法如下：
import pandas as pd
import dask.dataframe as dd
import dask.array as da
df_data = pd.DataFrame({'Column 1': [300,300,450,500,500,750,600,300, 150],'Column 2': [100,130,230,200,300,350,600,550,530], 'Column 3': [25
浏览 2提问于2019-10-31得票数 0
1回答
如何在dask中执行group-by聚集后保留分区
python、pandas、dataframe、distributed、dask
在我的应用程序中，我使用groupby对dask数据帧执行聚合，并按某个id排序。
但是，我希望聚合保持分区划分，因为我打算执行与其他相同分区的数据帧的连接。
import pandas as pd
import numpy as np
import dask.dataframe as dd
df =pd.DataFrame(np.arange(16), columns=['my_data'])
df.index.name = 'my_id'
ddf = dd.from_pandas(df, npartitions=4)
ddf.npartitions
#
浏览 0提问于2018-02-17得票数 4
1回答
如何在dask中找到数据帧的长度？
python、pandas、dask
如何使用dask找到数据帧的长度？
例如，在熊猫中，我可以这样做：
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.normal(0, 1, (5, 2)), columns=["A", "B"])
print df['A'].count()
print df
输出：
5
A B
0 1.538531 0.424717
1 -0.929843 1.323648
2 -1.283680 0.056199
3 -0.641
浏览 0提问于2018-05-28得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
