我正在尝试拆分字符串，但遇到内存错误。有没有办法解决这个问题，或者有其他的解决方案？我在下面的代码中遇到错误- content_str = str(content_str).split('\n')df1 = df1[0].str.split(',', expand=True) 错误- Traceback (most recent call last):
File "ravi_sir.py
浏览 15提问于2021-06-30得票数 0
我有一个巨大的数据帧(时间序列)列表(列表中超过5500个条目，每个条目的大小为750x2)。如何在不出现内存错误的情况下将其合并到单个数据帧中？我试过使用pandas.merge、pandas.concat，但什么都不起作用
浏览 0提问于2017-11-29得票数 0
6回答
我在pandas中打开了一个非常大的csv文件，如下所示。import pandas一旦我这样做了，我的内存使用量就增加了2 2GB，这是意料之中的，因为这个文件包含数百万行当我需要释放这个内存时，我的问题就出现了。我跑..。但是，我的内存使用率并没有下降。这是释放pandas数据</e
浏览 11提问于2016-08-23得票数 154
1回答
由于我是大数据平台的新手，我想用我的数据做一些功能工程工作。数据库大小约为30-50 Gb。是否可以像pandas数据帧一样在数据帧中加载完整的数据(30-50 to )？这里使用的数据库是Oracle。我试图加载它，但出现内存不足错误。此外，我喜欢在Python中工作。
浏览 14提问于2019-01-17得票数 0
62 | 11|| E | 63 | 17|我想按user对df进行分组，然后遍历user组中的每一行
浏览 3提问于2021-04-20得票数 1
1回答
我正在使用to_sql将pandas数据帧写入SQL server数据库。数据帧很小(1列，100行)。然而，我得到了一个错误： MemoryError为什么对象数据会导致内存不足
浏览 3提问于2020-09-19得票数 0
1回答
每个delayed对象的计算值必须转换为dask.Dataframe中的一个条目。dfs.append(df)
dfs = dfs.compute() 通常，pandas.DataFrame将字典的键转换为列。如何在dask.DataFrame中实现这一点？也许还有更有效的方法。 感谢您的评论。
浏览 26提问于2020-07-28得票数 0
如何将生成的dask.DataFrame转换为pandas.DataFrame (假设我已经完成了繁重的任务，只想将sklearn应用到聚合结果中)？
浏览 27提问于2016-08-18得票数 43
回答已采纳
3回答
所以我试着写这样的代码：import pandas as pd
df = dd.from_pandas(data=df)
它会引发错误，并显示以下消息：ValueError: Exactly one of npartitions and chunksize must be specified.我想知道如何解决它，我应该如何计算DataFrame的npartitions或chunksize，就像Dask在调用dask.d
浏览 4提问于2020-10-22得票数 1
1回答
我有一个csv文件，它的大小约为800MB，我试图通过pandas将其加载到数据帧中，但我一直收到内存错误。我需要加载它，这样我才能将它连接到另一个较小的数据帧。为什么即使我使用64位版本的Windows和Python 3.4 64位，并且有超过8 8GB的RAM和大量硬盘，我仍然得到一个内存错误？这是Pandas中的bug吗？如何解决这个内存问题？
浏览 0提问于2016-06-15得票数 0
我想在列表理解中对熊猫数据帧的行运行一个函数。Dataframe可以有不同数量的列。如何利用这些数据帧的列？import pandas as pd
[func(row) for row
浏览 0提问于2019-10-26得票数 1
我想使用Dask来处理大型数据帧。然而，当我尝试使用它时，我得到了一个内存错误，如下所示。df = pandas.DataFrame({'x': my_very_large_array})
ddf = dask.dataframe.from_pandas(df, npartitions=100) 我认为Dask应该处理比内存更大的数据。
浏览 7提问于2019-03-06得票数 0
回答已采纳
python进程似乎在不断增加内存使用量。下面的代码在一个类中运行 def load_files_to_es(self, files_to_load): for file in files_to_load
浏览 47提问于2020-09-02得票数 0
1回答
我有一个大约8700万行的Pandas数据帧。为了对其进行一些处理，我将其设置为Dask数据帧。问题是我需要做Dask不支持的unstack和plot。我已经将Dask数据帧写入h5文件，但在尝试将其作为Pandas数据帧读取时遇到内存问题。我在将Dask DF转换为Pandas时也遇到了内存错误。要到达df2，我必须离开外部连
浏览 2提问于2020-04-22得票数 2
1回答
我在pandas中运行了一个很长的ETL管道。我必须创建不同的pandas数据帧，并且我想为一些数据帧释放内存。我一直在阅读如何释放内存，我发现运行此命令不会释放内存： del dataframe 下面是这个链接：How to delete multiple pandas (python) dataframes在答案中，他们说将
浏览 171提问于2020-10-15得票数 2
回答已采纳
使用Python，我有一个很大的文件(几百万行)，我正在使用pd.read_csv与Pandas一起读取它。我的目标是尽可能减少我使用的内存量。具体地说，对于其中的5列，我想过滤掉/忽略所有空行。但是对于其中的一列，我只需要保留空行。
要做到这一点，最节省内存的方法是什么？
浏览 16提问于2018-02-10得票数 1
1回答
我相信在使用Dask数据帧时，我在Dask教程中看到了一个关于如何使用Dask框架中尚未实现的Pandas函数的建议，但我似乎看错了地方。例如，我想使用Pandas函数'ewm‘。作为一种变通方法，我将Dask数据帧转换为Pandas数据帧，在Pandas数据帧上运行ewm，然后将它们转换回Dask，
浏览 10提问于2019-06-02得票数 1
回答已采纳
1回答
当我尝试对Pandas数据帧进行排序并将其保存在磁盘上时，我在Python上遇到了“内存错误”。big_df_file.h5')df.to_hdf('sorted.h5')
我的电脑有16 Gb的RAM，数据文件是难道我不应该在不出现“内存错误</
浏览 0提问于2016-02-02得票数 2
有没有人知道pandas，python中的所有列？我刚刚为pandas创建了一个包含超过20,000列的数据帧，但我得到了内存错误。
非常感谢
浏览 5提问于2013-10-07得票数 1
我在一段代码的最后一行出现了out of memory错误，这段代码在for循环中创建了一个巨大的列表，然后将其转换为数据帧。def function_to_generate_list(): r
浏览 0提问于2020-10-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
