1回答
我在pandas中运行了一个很长的ETL管道。我必须创建不同的pandas数据帧，并且我想为一些数据帧释放内存。我一直在阅读如何释放内存，我发现运行此命令不会释放内存： del dataframe 下面是这个链接：How to delete multiple pandas (python) dataframes
浏览 171提问于2020-10-15得票数 2
回答已采纳
6回答
我在pandas中打开了一个非常大的csv文件，如下所示。import pandas一旦我这样做了，我的内存使用量就增加了2 2GB，这是意料之中的，因为这个文件包含数百万行当我需要释放这个内存时，我的问题就出现了。我跑..。但是，我的内存<
浏览 11提问于2016-08-23得票数 154
1回答
我正在使用dask ( s3查询的替代品)从SQL读取一些gzipped数据。但是，它看起来像是在系统内存中的某个位置缓存了数据文件或解压缩后的文件。注意这应该是可运行的，这里的测试数据来自公共s3存储桶中的pandas测试套件。在这里，gzip是43mb，并导致大约90mb的开销，在我的实际示例中，对于10 in的数据
浏览 4提问于2018-02-24得票数 15
回答已采纳
摘要adataframe = adataframe.tail(144)
内存没有释放。但是，如果我尝试创建一个新的800 k行DataFrame，并且只保留一小部分，那么内存的使用量就会增加。如果我再做一次，它就会无限地长出来。我使用的Python3.4.2和Pandas 0.18.1和numpy 1.11.1
浏览 2提问于2016-07-03得票数 0
回答已采纳
1回答
我相信在使用Dask数据帧时，我在Dask教程中看到了一个关于如何使用Dask框架中尚未实现的Pandas函数的建议，但我似乎看错了地方。例如，我想使用Pandas函数'ewm‘。作为一种变通方法，我将Dask数据帧转换为Pandas数据帧，在Pandas数据帧上运
浏览 10提问于2019-06-02得票数 1
回答已采纳
1回答
我有两个大型数据帧，分别称为df0 (1.2亿个obs)和df1 (5000万个obs)。它们有相同的44个变量(如列)。我需要追加数据，以便新数据框具有120+50 =1.7亿个观测值和44列。我使用：df = pd.concat(frames, ignore_index=True)
df = df0.append(df1, ignore_index但是当我使用以下命令删除df0和df1时del df
浏览 5提问于2018-08-15得票数 0
回答已采纳
我正在使用python 3.x。我想删除我的python代码创建的所有pandas dataframe。我知道有一个选择 del df 要删除dataFrame df，请执行以下操作。但是我看起来有点像R命令 rm(list=ls()) 删除由我的代码创建的所有可用数据帧。你能建议一下吗？
浏览 32提问于2020-09-07得票数 0
回答已采纳
1回答
我正在处理一个大约有20,000,000行和4列的大型数据集。不幸的是，我的机器上的可用内存(~16 on )不够。20010102 34234 51.750 5600然后，我将数据集转换为适当的时间序列对象：02 09:30:36 20010102 34236 51.875 14400
2001-01-02 09:31:03 20010102 34
浏览 0提问于2015-07-18得票数 10
如何在将熊猫数据帧存储到数据库后将其删除。我只能找到从数据帧中删除列或行的方法，但是如何删除完整的数据帧来释放我的计算机内存？
浏览 6提问于2016-02-09得票数 0
1回答
我有一个大约8700万行的Pandas数据帧。为了对其进行一些处理，我将其设置为Dask数据帧。问题是我需要做Dask不支持的unstack和plot。我已经将Dask数据帧写入h5文件，但在尝试将其作为Pandas数据帧读取时遇到内存问题。我在将Dask DF转换为Pandas时也遇到了内存错误。从本质上讲，我尝试做的
浏览 2提问于2020-04-22得票数 2
使用Python，我有一个很大的文件(几百万行)，我正在使用pd.read_csv与Pandas一起读取它。我的目标是尽可能减少我使用的内存量。具体地说，对于其中的5列，我想过滤掉/忽略所有空行。但是对于其中的一列，我只需要保留空行。
要做到这一点，最节省内存的</em
浏览 16提问于2018-02-10得票数 1
1回答
我有一个csv文件，它的大小约为800MB，我试图通过pandas将其加载到数据帧中，但我一直收到内存错误。我需要加载它，这样我才能将它连接到另一个较小的数据帧。为什么即使我使用64位版本的Windows和Python 3.4 64位，并且有超过8 8GB的RAM和大量硬盘，我仍然得到一个内存错误？这是Pandas中的bug吗？如何</e
浏览 0提问于2016-06-15得票数 0
我有一个巨大的数据帧(时间序列)列表(列表中超过5500个条目，每个条目的大小为750x2)。如何在不出现内存错误的情况下将其合并到单个数据帧中？我试过使用pandas.merge、pandas.concat，但什么都不起作用
浏览 0提问于2017-11-29得票数 0
我正在运行一个python脚本，它可以粗略地汇总(半伪编码)如下：for json_file in json_files:
with open(json_file，将每个数据框保存到一个唯一的文件中。但是，我的内存似乎在这个过程中耗尽了，就好像del df, data, data_str没有释放内存一样(最初，我没有在代码中包含del语句，但我希望添加它可以解决问题--它没有)。在每次迭代期间，大约有相同数量的<
浏览 1提问于2016-10-12得票数 4
| 11|| E | 63 | 17|我想按user对df进行分组，然后遍历user组中的每一行，以解析出我定义的几个函数，如下所示： ... # operation on dfusers_list = [df.filter(F.col(
浏览 3提问于2021-04-20得票数 1
3回答
我有一个非常大的数据帧另存为gzip文件。在保存数据之前，还需要对其进行大量操作。您可以尝试将整个gzip数据帧转换为文本格式，将其保存到变量中，解析/清理数据，然后通过pandas.read_csv()保存为.csv文件。然而，这是非常耗费内存的。我想逐行读取/解压缩这个文件(我认为这将是最节省内存的解决方案)，解析它(例如，使用正则表达式r
浏览 0提问于2016-08-12得票数 0
1回答
我的数据集是巨大的。我正在使用Azure ML notebooks，并使用azureml.core读取日期集并转换为azureml.data.tabular_dataset.TabularDataset。无论如何，我会过滤tabularDataset中的数据，而不是转换为pandas数据帧。我使用下面的代码来读取数据。由于数据量巨大，pa
浏览 69提问于2021-01-06得票数 1
我想使用read_sql_table()使用SQLAlchemy和Pandas将表从Posgresql数据库读取到Pandas数据帧中。对数据库的SQL查询类似于： SELECT col1,col2 FROM my_table WHERE col1=='value' 我尝试使用以下代码从表中获取Pandas数据帧： from sqlalchem
浏览 23提问于2021-06-14得票数 0
当我用熊猫清理大数据的时候，我有两种方法:一种是从pyspark 2.3+清洁数据中使用sdf，另一种是通过toPandas()将sdf转换成pdf，然后使用熊猫进行清洁。
浏览 1提问于2019-01-21得票数 1
回答已采纳
我想从InstaCart 加载大型.csv (340万行，206k用户)开源数据集
基本上，我在将orders.csv加载到Pandas DataFrame时遇到了问题。我想学习将大文件加载到Pandas/Python中的最佳实践。
浏览 3提问于2017-06-14得票数 1
云服务器
ICP备案
实时音视频
即时通信 IM
云直播
腾讯云开发者
