Dask - Drop重复索引MemoryError - 腾讯云开发者社区

文章/答案/技术大牛

发布

0回答

Dask - Drop重复索引MemoryError

dask

当我用下面的代码在一个大的数据帧上删除重复的时间戳时，我得到了一个MemoryError。=opts, engine='fastparquet') ddf = ddf.reset_index().drop_duplicates(subset='timestamp_utc').set_index有没有其他方法可以在不使用这么多内存的情况下删除数据上的重复索引？chengkai/surbana_lift/src/consolidate_da

浏览 6提问于2018-07-12得票数 3

回答已采纳

1回答

找到重复的值

python、pandas、dask

我需要在dask DataFrame中的列中找到副本。Q:，在dask中获取所有重复值的最佳方法是什么？我的想法：创建一个作为索引的列，然后是drop_duplicates，然后是join。 ['a'], ['c'], ['a

浏览 3提问于2020-10-08得票数 3

1回答

使用虚拟编码器时dask中的内存错误

python、dask

我正在对一个dask数据帧train_final[categorical_var]进行虚拟编码。然而，当我运行代码时，我得到了一个内存错误。这会发生吗，因为dask应该是通过逐块加载数据来实现的。代码如下： from dask_ml.preprocessing import DummyEncodertrain_final_cat = de.fit_transformtrain_final[categorical_var]) 错误： ----------------------------------

浏览 17提问于2019-02-25得票数 4

回答已采纳

1回答

调用DataFrame MemoryError时使用to_csv

dask、dask-dataframe

day1>/filetype2.gz<day2>/filetype2.gz我的代码读取所有的above).merges文件并构建一个数据文件并设置索引(例如:通过filetype2的所有文件设置索引，并构建一个大的数据文件(类似于above).merges)，通过merged_df = ddf.merge(df1, df2, how='inner',S3 via：merged_df.to_csv(<s3_output

浏览 3提问于2020-06-06得票数 1

1回答

关于Dask的问题--如何使用pandas dataframe合并到脚本(groupby/apply)

python、parallel-processing、dask

我正在尝试修改我的代码以包含Dask，因为我有太多的数据需要熊猫来处理。= df1.merge(df2, how='inner', left_on=['a', 'b', 'c'],  right_on=['a', 'b', 'c'],  suffixes=('', '_DROP*_DROP)').sort_values(['a', '

浏览 11提问于2021-02-26得票数 1

回答已采纳

1回答

KeyError:当尝试选择dask数据框上的列时：“没有[索引([‘’，'']，dtype='object')]在[列]中”

pandas、dask

我正在使用from_pandas()函数从熊猫数据帧创建一个dask数据帧。当我尝试使用方括号[ ]从dask dataframe中选择两列时，我得到了一个KeyError。根据dask文档，dask dataframe支持像pandas dataframe一样的方括号列选择。# data is a pandas dataframe data = data[dask_df[['length',

浏览 67提问于2019-10-04得票数 1

1回答

使用Dask map_partition和StringMethods系列给我一个内存错误

python-3.x、pandas、dask

map_partitions(lambda value:value.str.slice(start=1,stop=-1)) frame = frame.set_index("ID_NUM", drop=False, npartitions='au

浏览 0提问于2020-03-04得票数 0

回答已采纳

1回答

重置dask数据帧索引以允许连接

dask

假设说dask不支持reset_index()的drop=True，我如何用不同的索引将2个数据帧连接在一起(如head()所见)

浏览 11提问于2016-08-27得票数 4

1回答

为什么Dask.dataframe.set_index不能将组合列识别为单列？

python-3.x、pandas、dask

我尝试将它们组合在一起，然后用drop=false将它们设置为索引。然而，我收到一个错误，告诉我Dask不支持多索引。然后我使用df.set_index(['Date[G]_Time[G]'], drop=False)设置索引，错误如下。recent call last): df.set_index(['Date[G]_Tim

浏览 25提问于2019-03-25得票数 1

回答已采纳

1回答

Dask groupby-在索引上应用，然后连接，而不会进行昂贵的重新索引

python、pandas、dask

我在Dask的情况下，我想摆脱，而不是使用很多昂贵的reset_index操作。我原本期望数据帧只在dask索引上连接，由于dask没有实现多索引，我惊讶地看到它同时连接到dask索引和apply返回的索引：import pandasddf.set_index("group_col") out_ddf = ddf.groupby("group_co

浏览 0提问于2021-04-08得票数 1

1回答

如何在dask.dataframe中子集一行？

python、dataframe、subset、dask

我试图使用命令dask.dataframe从x.loc[0].compute()中只选择一行。它返回4行，所有行都有index=0。(我认为我重置是正确的，因为我做了reset_index(drop=False)，我可以在新列中看到原始索引)。我阅读了dask.dataframe文档，它说明了index=0可能有多个行，这是因为dask如何构造块数据。所以，如果我真的希望通过使用index=0来设置一个行，我如何做到这一点？

浏览 0提问于2019-02-02得票数 4

回答已采纳

2回答

如何在csv和to中读取到一个DASK数据，这样它就不会有“未命名:0”列？

python、pandas、csv、dask、dask-dataframe

parse_dates=['col3'],结果列试用解决方案 DISFUCTION:这只是将一个值设置为索引

浏览 4提问于2021-02-24得票数 3

回答已采纳

2回答

Dask数据帧大于内存

python、dataset、dask

我是Dask的新手，我发现它非常有用，但我有一个问题还没能解决。问题是，在此删除之后，数据集仍将大于内存。当然，我可以构建一段代码来手动执行此删除，但我想知道Dask是否已经实现了这一点。这是我的代码：import dask.dataframe as dd data = dd.re

浏览 5提问于2020-10-16得票数 2

1回答

Dask dataframe:合并时出现内存错误

python、dask

为此，我需要使用dask中的合并操作。不幸的是，github的用户基数是6M，合并操作似乎正在导致最终的数据帧爆炸。我使用了以下代码gh = dd.read_hdf('data/github.hd5', '/github', chunksize=5000, columnsgithub.hd5', '/github', chunksize=5000, columns=['id', &#

浏览 12提问于2016-08-24得票数 6

1回答

Dask Dataframe:按A列删除重复项，保留B列中值最高的行

dask、dask-dataframe、drop-duplicates

在熊猫里，我采用了这个解决方案但我无法有效地将相同的解决方案应用于dask，因为dask不喜欢sort_values。df.loc[max_idx.compute()] 在整个dask框架上，方法df.nlargest(1, "B")可以满足我的需要，但我还没有想出如何使用groupby来满足我的需要。在我的基于d

浏览 1提问于2021-06-17得票数 0

回答已采纳

0回答

在Dask中连接/查找/映射列值的最有效方法是什么？

python、dask

在Dask中实现这一点的最有效方法是什么？一种可能是从主df到lookup_df的左连接，但是连接是一个相当复杂的操作。即使在普通的Pandas中，基于索引的解决方案通常也比连接/合并快得多，例如：user_ids = [4823, 1292, 9634, 7431] df["user_id_mapped"] = id_lookup_series[df["user_id"]].r

浏览 4提问于2017-06-13得票数 2

回答已采纳

1回答

SQLAlchemy核心:将三列合并为一列

python、mysql、sqlalchemy

我正在使用SQLAlchemy核心和当前的特定应用程序(dask.dataframe.read_sql_table)，我需要向它提供一个单独的列/可选作为索引字段。因为这个表没有单独的列唯一键，所以这是我想出的最好的主意，所以如果有更好的方法在SQLAlchemy核心中表示它，供Dask使用，那么我洗耳恭听！

浏览 23提问于2020-03-26得票数 0

2回答

dask to_dataframe重复索引

dask

我正在将一个文本文件列表加载到dask数据帧中。每个文本文件都有多行字典(用换行符分隔)。对于文本文件的每一行，我执行一些在"remove_escapes“中定义的小处理，并返回一个列表。solution prevents the control f... 10463 None 正如你在上面看到的，索引是重复的有没有办法确保索引的有序和递增？

浏览 1提问于2019-11-12得票数 0

2回答

基于分隔符的Dask* dataframe -拆分列为多行*

python、pandas、performance、dask

例如，假设我有一个csv文件，我使用dask读取该文件以生成以下dask数据文件：1 A Z,Y3 C W,U,Vid我试着应用中给出的答案，但在str.split中，dask似乎不接受展开关键字。我还尝试了应用中建议的矢量化方法，但是后来发现np.repeat不是在带有整数数组()的dask中实现的。

浏览 0提问于2019-01-19得票数 5

回答已采纳

1回答

运行df.to_csv()时出现任务内存错误

python、pandas、dask

我正在尝试索引并保存无法加载到内存中的大型csvs。我的代码加载csv，执行计算，并通过新值索引工作，没有问题。完整的堆栈跟踪是： Traceback (most recent call last): File "&

浏览 39提问于2019-01-31得票数 3

点击加载更多