我有一个有700万条记录的pandas数据帧，我正在尝试创建一个dask数据帧，但我总是遇到内存问题。使用的代码： dd_test = dd.from_pandas(df_lookup_table, npartitions=3) 错误消息： Traceback (most recent call last): File "C:\Users\user\venv\lib\sit
浏览 9提问于2019-01-29得票数 1
回答已采纳
如何将生成的dask.DataFrame转换为pandas.DataFrame (假设我已经完成了繁重的任务，只想将sklearn应用到聚合结果中)？
浏览 27提问于2016-08-18得票数 43
回答已采纳
我正在使用from_pandas()函数从熊猫数据帧创建一个dask数据帧。当我尝试使用方括号[ ]从dask dataframe中选择两列时，我得到了一个KeyError。根据dask文档，dask dataframe支持像pandas dataframe一样的方括号列选择。# data is a pandas dataframe
dask_d
浏览 67提问于2019-10-04得票数 1
我想使用Dask来处理大型数据帧。然而，当我尝试使用它时，我得到了一个内存错误，如下所示。df = pandas.DataFrame({'x': my_very_large_array})
ddf = dask.dataframe.from_pandas(df, npartitions=100) 我认为Dask应该处理比内存更大的数据。
浏览 7提问于2019-03-06得票数 0
回答已采纳
1回答
, 'Term': 'unique_tokens', 'LocalFreq': 'local_freq_list','CorpusFreq': 'corpus_freq_list'} 我想从它创建一个dask通常，在Pandas中，可以通过以下方式轻松地将is导入Pandas df： df = pd.DataFrame({'Caps': cap_list, 'Term
浏览 28提问于2019-12-17得票数 3
我把它装进了一个dask数据仓库：dask_train_df = dd.read_parquet('train.parquet')
dask_train_df.info当我尝试执行像dask_train_df.head()或dask_train_df.loc[2:4].compute()这样的简单操作时，我会得到内存错误，即使是使用17+ GB的内存
浏览 0提问于2018-12-24得票数 6
回答已采纳
我尝试使用pd.read_csv导入一个大小为4GB的csv文件，但是收到了内存中的错误。然后尝试使用dask.dataframe，但无法转换为pandas dataframe (相同的内存错误)。import pandas as pddf = dd.read_csv(#file)然后尝
浏览 0提问于2019-06-04得票数 4
我熟悉pandas库提供的read_csv和to_csv选项。但是，我不确定read csv函数是读取文件，然后将其存储在内存中，还是直接从磁盘读取文件。使用pandas从磁盘读取和写入文件的最佳方式是什么？
浏览 0提问于2017-09-16得票数 0
我用pandas编写脚本，但为了提高效率，我需要切换到dask，但我不确定如何在dask中实现unstack和reindex？这是我的pandas脚本的样子： df_new = df.groupby(['Cars', 'Date'])['Durations'].mean().unstack(fill_value=0).reindex
浏览 11提问于2020-06-18得票数 0
回答已采纳
我有一个作为Pandas DataFrame读入的.csv文件。然后，我尝试将其转换为dask dataframe，但这会导致错误'Index' object has no attribute 'is_monotonic_increasing'。我怎样才能纠正这个错误呢？import pandas as pddf = pd.read_cs
浏览 1提问于2019-12-12得票数 1
1回答
我正在使用as_pandas实用程序从impala.util读取从hive获取的dataframe格式的数据。但是，使用熊猫，我想我将无法处理大量的数据，而且速度也会变慢。我一直在阅读dask，它为读取大数据文件提供了极好的功能。我如何使用它有效地从蜂巢中获取数据。def as_dask(cursor):
"""Return a DataFrame out of an impyla cursor.Retu
浏览 2提问于2018-10-18得票数 2
回答已采纳
当我尝试通过读取pickle文件来创建dask数据帧时，我得到了一个错误ds_df = dd.read_pickle("D:\test.pickle所以，如果我在这里或者在dask中做错了什么，请纠正我，我们根本不能通过读取一个pickle文件来创建数据帧。
浏览 1提问于2015-12-14得票数 7
1回答
由于这个大型数据文件将不适合内存，所以我认为同样地使用dataframe可能会更好。但我不知道如何解决这个问题。import pandas as pd
'id1': range(1,6),
'a': [random.random
浏览 0提问于2019-05-10得票数 1
因为我在做大图的时候会炸掉我的16 do的内存。我毫不怀疑Datashader可以处理数据，然而，我不知道如何加载它并逐段绘制它。
浏览 19提问于2020-06-11得票数 1
为此，我在远程机器上运行了一个dask-scheduler &一个dask-worker。如何从运行在本地计算机上的notebook引用远程计算机的数据？import dask.dataframe as dd 'remote-machine-file.csv',
heade
浏览 31提问于2021-09-26得票数 2
1回答
在列上合并dask
、、、、
在这个脚本中，我对用户指定的列上的两个数据文件执行合并，并试图将其转换为dask。如何将这一行更改为与dask数据格式匹配？
浏览 2提问于2021-04-05得票数 4
回答已采纳
2回答
我试图在dask dataframe中添加一个列，但它不允许我添加list类型的列，所以我尝试了一下，发现它会添加一个dask序列。但是，我无法将我的列表转换为dask系列。你能帮帮我吗？
浏览 1提问于2017-09-06得票数 2
1回答
如何从应用于Dask系列的函数中返回多个值？我试图从dask.Series.apply的每一次迭代中返回一个系列，最后的结果是一个dask.DataFrame。import pandas as pdfrom sklearn import datasets
irisVersion - Wo
浏览 0提问于2019-03-05得票数 1
回答已采纳
我尝试使用Dask进行连接，因为我听到Dask对文件进行分区，以便更容易加载到内存中。然而，Pandas能够处理他的操作，而Dask不能。我之所以使用Dask，是因为当我试图保存我的Pandas数据帧时，我的环境崩溃了。因此，我尝试查看Dask是否能够在不崩溃的情况下保存我的数据，但我被困在创建我的数据帧上。= dd.from_pandas(pd.DataFrame(combC), npartitions=10)
d
浏览 1提问于2019-05-30得票数 2
我试图使用Python3.4中的DASK包来避免大型数据集出现RAM问题，但我注意到了一个问题。使用本机函数"read_csv“，我使用不足150 of的RAM将大数据集加载到dataframe中。相同的数据集读取与熊猫DB连接(使用限制和偏移选项)和达克函数“from_pandas”填充我的公羊到500/750 MB。sql_base+=""" limit 10
浏览 4提问于2016-07-04得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
