出现异常: MemoryError无法为具有形状(2265257，)和数据类型complex128的数组分配34.6 MiB你好，我遇到了这个错误。但是我不明白为什么会发生这样的错误。但我有足够的内存来处理这些数据。
你知道为什么即使我有更多的内存，Python也会限制它吗？
浏览 22提问于2020-05-09得票数 0
回答已采纳
我在windows 8上使用python3.864位Pycharm，在试图从列表中生成数据时出现了内存错误。我要做的是使用.csv包将一个巨大的csv (25 do )读入列表中，使用pd.Dataframe生成一个数据文件，然后导出一个带有pd.to_stata函数的.dta文件。：这个解决方案不适用于我，因为我使用的是64位的python。在中的答案表明，内存错误是因为PC没有足够的内存，但我很
浏览 2提问于2020-08-16得票数 0
我正在尝试加载pandas dataframe中的csv文件。然而，Python在加载文件时占用了大量内存。例如，csv文件的大小是289MB，但当我试图加载该文件时，内存使用量却达到了1700MB左右。此时，系统显示内存错误。我也尝试过分块大小，但问题仍然存在。谁能告诉我一条前进的路？
浏览 0提问于2018-03-19得票数 0
使用Python，我有一个很大的文件(几百万行)，我正在使用pd.read_csv与Pandas一起读取它。我的目标是尽可能减少我使用的内存量。我想我有两个问题：
首先，看看，我不清楚是否有一种方法可以过滤掉空行。有没有一组read_csv的参数和规范--或者使用其他方法--可以用来过滤掉空行？
浏览 16提问于2018-02-10得票数 1
如何将生成的dask.DataFrame转换为pandas.DataFrame (假设我已经完成了繁重的任务，只想将sklearn应用到聚合结果中)？
浏览 27提问于2016-08-18得票数 43
回答已采纳
我正在与pandas在ETL管道中工作，并且我正在超出我的计算机的内存使用量。我正在阅读Python中的内存使用情况，当我创建一个pandas Dataframe时，我不明白内存使用是如何工作的，我为这个Dataframe指定了一个名称，并且我使用相同的名称进行一些转换或向其中添加更多列例如：{,'column1
浏览 1提问于2020-11-23得票数 0
我想将来自pandas dataframe的数据摄取到Microsoft SQL Server 2019上的内存中的OLTP数据库中。这个表还不存在，我想基于pandas数据帧动态创建它。为此，我修改了pandas在通常插入数据之前生成的SQL create语句，以便将该表实际创建为内存中的表。在Microsoft SQL Server Management Studio中直接使用create语句时，该语句工作正常。但是，当我使用SQLAlchemy在
浏览 15提问于2021-11-17得票数 0
1回答
当我尝试对Pandas数据帧进行排序并将其保存在磁盘上时，我在Python上遇到了“内存错误”。难道我不应该在不出现“内存错误”的情况下做到这一点吗？python: 2.7.11.final.0OS: Windowsmachine
浏览 0提问于2016-02-02得票数 2
一个常见的SQLism是"Select A，mean(X) from table group by A“，我想在pandas中复制这一点。假设数据存储在CSV文件中，并且太大而无法加载到内存中。如果CSV可以放在内存中，那么一个简单的两行代码就足够了：mean=data.groupby(data.A).mean()chunks=<
浏览 2提问于2014-04-21得票数 5
我尝试使用pd.read_csv导入一个大小为4GB的csv文件，但是收到了内存中的错误。然后尝试使用dask.dataframe，但无法转换为pandas dataframe (相同的内存错误)。import pandas as pddf = dd.read_csv(#file)然后尝试使用chunksize参数，但内存
浏览 0提问于2019-06-04得票数 4
我希望将结果保存在内存中更大的DataFrame中，或者保存在类似字典的结构中。当使用pandas.concat时，我在循环中的某个点得到一个内存错误。当使用numpy.append将结果存储在numpy数组的字典中而不是DataFrame中时，也会发生同样的情况。在这两种情况下，我仍然有很多可用内存(几GB)。对于pandas或numpy来说，这是不是太多的数据无法处理？有没有更
浏览 3提问于2013-10-25得票数 5
回答已采纳
更新:我已经意识到每次新的运行都会创建一个新的Python控制台，这会导致更多的内存消耗。我必须关闭为每次运行创建新控制台的设置。由于某些原因，当我升级到Pycharm pro时，这个功能会自动启用。现在，内存消耗是稳定的。
我的项目创建了一个名为'pressure_drop‘的csv，我想使用下面的代码创建一个新的pandas数据帧。问题是，每次在控制台中运行代码时，Python都会占用更多的内存空间，如果代码运行的次数足够</em
浏览 2提问于2020-04-27得票数 0
1回答
我现在的问题是，这个表太大了(上面有一百万行，我正在使用python pandas dataframe来做这件事)，以至于出现了内存错误。有没有办法在C#中懒惰地做这件事，从而最小化内存使用，然后我就可以为这个任务并行运行2-3个进程？
浏览 2提问于2015-12-20得票数 0
我想知道普通数组与JuliaDB或DataFrame在对大型数据集(大型但仍然适合内存)上的计算性能是否存在差异？我可以使用简单的数组和算法来进行排序、分组、缩减等等，那么为什么我需要JuliaDB或DataFrame呢？我有点理解Python为什么需要Pandas --因为它将缓慢的python转化为快速C，但是为什么Julia需要JuliaDB或DataFrame -- Julia已经快了。
浏览 0提问于2018-03-26得票数 10
回答已采纳
我必须读取一个1GB的访问文件，并在熊猫中对其进行操作；由于cursor.fetchall()在Memory Error中直接失败，我尝试了下面的函数，以查看内存错误发生的时间:它出现在400.000行取回后这是奇怪的，因为我有8 GB的内存在我的机器，它似乎是免费的50%。我还将虚拟内存设置为16 GB，但结果没有改变。我不需要微积分速度，所以任何肮脏的解决方案都是受欢迎的:)包括使用硬盘作为内存(我有一个ssd)。
也许有一种方法可以使所有内存都可用在pyt
浏览 2提问于2016-07-04得票数 1
/site-packages/pandas/util/_decorators.py:311, in deprecate_nonkeyword_arguments.TypeError: set_index() got an unexpected keyword argument 'divisions'-------------------------------------------------
浏览 9提问于2022-09-21得票数 0
我在HDF5文件中保存了一个pandas.DataFrame。DataFrame由多个列组成，大小非常大。HDF5文件中每个表的大小都大于2 2GB。对于分析，希望仅将表的列的子集加载到存储器中。在Python中有没有一种简单的方法可以做到这一点？此外，对于应
浏览 2提问于2019-08-07得票数 0
我试着用这个命令安装熊猫：安装一开始就会启动，但之后会出现红色，并返回以下错误：对如何解决这个问题有什么建议吗？
浏览 3提问于2021-02-14得票数 2
回答已采纳
然而，当我尝试使用它时，我得到了一个内存错误，如下所示。df = pandas.DataFrame({'x': my_very_large_array})
ddf = dask.dataframe.from_pandas(df, npartitions=100) 我认为Dask应该处理比内存更大的数据。
浏览 7提问于2019-03-06得票数 0
回答已采纳
我想知道有没有人有快速修复内存错误的方法，当对较大的数据执行与下面的示例相同的操作时出现的错误？示例： import pandas as pdnCols = 3
df3 = pd.concat(d
浏览 27提问于2019-10-18得票数 1
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
