假设我有两个dask数据帧： import dask.dataframe as dd
dd_1 = dd.from_pandas(pd.DataFrame((dd_2.a)] 当我尝试这样做时，抛出了以下错误： NotImplementedError Traceback (most recent call last/site-packages/<
浏览 17提问于2019-03-20得票数 4
我正在尝试合并两个大型数据帧(一个是50k+值，另一个是650k+值--从7M+中删减下来)。合并/匹配是通过完成的，以查找第一个数据帧中的哪个字符串与另一个数据帧中的哪个字符串最接近。这样做时，Dask会返回以下错误：“NotImplementedError: Series getitem In只支持具有匹配分区结构的其他系列对象”
该错误可能是由于我的数据帧大小不相等造成的。在尝试将m
浏览 3提问于2019-07-28得票数 0
我已经使用pandas实现了两个数据帧之间的模糊字符串匹配算法。我的问题是如何将其转换为使用多核的dask操作？我的程序在纯python上运行大约3-4天，我想并行操作以优化时间成本。('my_csv.csv', skipinitialspace=True, usecols=fields)
然后，我必须根据每个字符串关联的数值将数据帧emb细分为两个数据帧(emb1，emb2)。与在中一样，我正在匹配一个数
浏览 3提问于2018-05-19得票数 0
我已经使用pandas数据帧训练了我的自动学习分类模型，并试图使用dask数据帧从训练的模型中获得预测。当我读完dask和Autosklearn的所有文档时，到目前为止还没有对此的支持。
如果有人能帮上忙，那就
浏览 0提问于2020-03-05得票数 0
1回答
我有一个包含一个有问题的列的dask数据帧，它(我相信)是每次我尝试对该数据帧执行任何操作(无论是head还是to_csv，甚至是尝试使用(不同)列)进行子集时都会抛出的特定错误的根源。错误可能是由于数据类型不匹配造成的，并显示如下： ValueError: invalid literal for int() with base 10: 'FIPS' 所以我决定删除该列('FIPS&#x
浏览 16提问于2019-02-17得票数 2
我正在使用from_pandas()函数从熊猫数据帧创建一个dask数据帧。当我尝试使用方括号[ ]从dask dataframe中选择两列时，我得到了一个KeyError。根据dask文档，dask dataframe支持像pandas dataframe一样的方括号列选择。# data is a pandas dataframe
dask_df = ddf.f
浏览 67提问于2019-10-04得票数 1
我知道我可以使用isin来过滤数据帧例如，下面是我如何过滤一些数据集以仅限于特定的user数据集。## filter datadf_liquidate_
浏览 17提问于2019-08-02得票数 1
但是，代码抛出一个“未实现”错误，并且似乎没有识别数据类型，即使它们是在函数参数中定义的(参见下面的错误消息)。我尝试过Dataframe.read_csv，既指定列数据类型，也不指定列数据类型，但得到相同的错误。发生错误的行是一个列表理解，但我的循环也有相同的错误。当我打印数据帧时，数据帧看起来是正确的，但是数据类型都是“object”，这是不正确的。-------
NotImplemen
浏览 1提问于2019-04-29得票数 2
回答已采纳
1回答
在将值转换为浮点数时，我正在尝试对dask数据帧进行异常处理。基本上，我希望将每个值转换为浮点数，如果抛出异常，则将其设置为None。有没有办法用dask做到这一点？
谢谢。
浏览 2提问于2017-08-25得票数 0
1回答
我有一个大约8700万行的Pandas数据帧。为了对其进行一些处理，我将其设置为Dask数据帧。问题是我需要做Dask不支持的unstack和plot。我已经将Dask数据帧写入h5文件，但在尝试将其作为Pandas数据帧读取时遇到内存问题。我在将Dask DF转换为Pandas时也遇到了内存错误。要到达df2，我必须离开外部连
浏览 2提问于2020-04-22得票数 2
在pandas中，有许多方法可以用来查看内部数据，比如head、tail、loc、iloc，但每当我在dask上调用其中一个方法时，得到的结果是： Dask DataFrame Structure:Dask Name: try_loc, 9 tasks 不管我之前是否调用了.compute()。如何查看dask数据帧/系列中的数据？我使用的是Visual Studio Code 1.38.
浏览 10提问于2020-04-05得票数 2
回答已采纳
我想使用Dask来处理大型数据帧。然而，当我尝试使用它时，我得到了一个内存错误，如下所示。df = pandas.DataFrame({'x': my_very_large_array})
ddf = dask.dataframe.from_pandas(df, npartitions=100) 我认为Dask应该处理比内存更大的数据。
浏览 7提问于2019-03-06得票数 0
回答已采纳
3回答
我有两个关于dask的问题。首先: dask的文档清楚地指出，您可以使用与pandas相同的语法来重命名列。我使用的是dask 1.0.0。为什么我会得到下面这些错误的原因？(columns=cols)
pandas数据帧显示了一个真正的数据帧，但是当我调用dd
浏览 1提问于2018-12-17得票数 7
我无法使用数据帧read : df_read_csv访问S3上的文件。我得到了错误：Exception: Unable to locate credentials
当我的dask distributed在本地工作核心上运行时，这很好用。但是，当我导入一个带有额外工作服务器集群的客户端时，它会失败。我的集群是在ubuntu上使用dask-ec2创建的，头服务器上有1个调度器，3个工作服务器(都是ubuntu)。我已经在所有的cli上安装
浏览 16提问于2017-08-09得票数 4
我正在尝试基于键折叠数据帧的行。我的文件很大，pandas抛出了一个内存错误。我目前正在尝试使用dask。我在这里附加了代码片段。两个数据帧的形状是相同的。当我执行此命令时，我得到以下错误：这里我漏掉了什么？有没有其他方法可以基于dask中的键来折叠行？The task in hand, to do the following sample in
浏览 0提问于2018-05-16得票数 0
我有一个dask dataframe，它包含一些转换后的数据。我想把这些数据写回mysql表。我已经实现了一个函数，它获取一个数据帧，一个db url，然后将该数据帧写回数据库。因为我需要一些来对数据帧的数据进行一些最后的编辑，所以我使用pandas df.to_dict('record')来处理写操作。partial_store_partition_to_db
浏览 0提问于2017-11-30得票数 0
2回答
我有Dask系列的Dask数据帧。但是，使用loc[0]会导致另一个dask系列。使用to_frame也不起作用，因为结果是"Dask系列Dask数据帧的Dask数据帧“。下面是一个使用</e
浏览 3提问于2020-02-03得票数 1
1回答
我有dask dataframe，它有cols [ID,'PERIOD','CURRENCY'] 在这里我创建了PERIOD作为 datetime.datetime.strptime(''201901, "%Y%m").date() 当我尝试使用以下命令保存此数据帧时： dd.to_hdf('table.h5', key='df', append=True,compli
浏览 21提问于2019-12-23得票数 0
2回答
我使用dask dataframe.groupby().apply()，并将dask系列作为返回值。我是每个组的一个列表三胞胎，如(a，b,1)，然后希望把所有的三胞胎变成一个单dask数据帧。itertools.chain.from_iterable(trip))return dd.from_pandas(df,npartitions=1)
然后，当我尝试使用类似于和的东西<
浏览 4提问于2017-11-10得票数 2
回答已采纳
2回答
doOtherStuffWith(row)
dataFrame['coly'][index] = lol其他的解决方案是手动地将我的数据分解成块，或者使用熊猫，或者只是在数据库中抛出任何东西。但是如果我能继续使
浏览 5提问于2017-03-17得票数 5
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
