腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
删除
并
释放
单个
pandas
数据
帧
的
内存
python
、
pandas
、
memory
我在
pandas
中运行了一个很长
的
ETL管道。我必须创建不同
的
pandas
数据
帧
,并且我想为一些
数据
帧
释放
内存
。我一直在阅读如何
释放
内存
,我发现运行此命令不会
释放
内存
: del dataframe 下面是这个链接:How to delete multiple
pandas
(python) dataframes,其中一个答案说d
浏览 171
提问于2020-10-15
得票数 2
回答已采纳
6
回答
如何
释放
pandas
数据
帧
使用
的
内存
?
python
、
pandas
、
memory
我在
pandas
中打开了一个非常大
的
csv文件,如下所示。import
pandas
一旦我这样做了,我
的
内存
使用量就增加了2 2GB,这是意料之中
的
,因为这个文件包含数百万行当我需要
释放
这个
内存
时,我
的
问题就出现了。我跑..。但是,我
的
内存
使用率并没有下降。这
浏览 11
提问于2016-08-23
得票数 154
1
回答
如何
删除
由python代码创建
的
所有
pandas
dataframe
python
、
r
、
pandas
我想
删除
我
的
python代码创建
的
所有
pandas
dataframe。我知道有一个选择 del df 要
删除
dataFrame df,请执行以下操作。但是我看起来有点像R命令 rm(list=ls())
删除
由我
的
代码创建
的
所有可用
数据
帧
。你能建议一下吗?
浏览 32
提问于2020-09-07
得票数 0
回答已采纳
2
回答
获取DataFrame
的
一小部分时不会
释放
内存
pandas
摘要adataframe = adataframe.tail(144)
内存
没有
释放
。但是,如果我尝试创建一个新
的
800 k行DataFrame,并且只保留一小部分,那么
内存
的
使用量就会增加。如果我再做一次,它就会无限地长出来。我使用
的
Python3.4.2和
Pandas
0.18.1和numpy 1.11.1。a_DataFrame_loade
浏览 2
提问于2016-07-03
得票数 0
回答已采纳
1
回答
删除
数据
帧
但仍丢失
内存
python
、
pandas
、
memory
我有两个大型
数据
帧
,分别称为df0 (1.2亿个obs)和df1 (5000万个obs)。它们有相同
的
44个变量(如列)。我需要追加
数据
,以便新
数据
框具有120+50 =1.7亿个观测值和44列。但是当我使用以下命令
删除
df0和df1时del df1 系统未
释放
内存
。我在stackoverflow上读到这是典型
的
python/其他语言。然而,在此之后,我遇到了
内存
问题,python没有<e
浏览 5
提问于2018-08-15
得票数 0
回答已采纳
1
回答
如何在存储到
数据
库后丢弃
pandas
数据
帧
python
、
pandas
如何在将熊猫
数据
帧
存储到
数据
库后将其
删除
。我只能找到从
数据
帧
中
删除
列或行
的
方法,但是如何
删除
完整
的
数据
帧
来
释放
我
的
计算机
内存
?
浏览 6
提问于2016-02-09
得票数 0
1
回答
在没有
内存
错误
的
情况下将一个巨大
的
数据
帧
列表合并成一个
数据
帧
?
python-3.x
我有一个巨大
的
数据
帧
(时间序列)列表(列表中超过5500个条目,每个条目的大小为750x2)。如何在不出现
内存
错误
的
情况下将其合并到
单个
数据
帧
中?我试过使用
pandas
.merge、
pandas
.concat,但什么都不起作用
浏览 0
提问于2017-11-29
得票数 0
3
回答
如何从
内存
中
删除
多个
pandas
(python)
数据
帧
以节省
内存
?
python
、
memory-management
、
pandas
、
dataframe
、
ram
我已经创建了很多
数据
帧
作为预处理
的
一部分。由于我限制了6 6GB
的
内存
,我想从
内存
中
删除
所有不必要
的
数据
帧
,以避免在scikit-learn中运行GRIDSEARCHCV时耗尽
内存
。1)是否有一个函数可以只列出当前加载到
内存
中
的
所有
数据
帧
? 我尝试了dir(),但它提供了许多
数据
帧
以外
浏览 1
提问于2015-08-27
得票数 52
1
回答
熊猫记忆
释放
python
、
pandas
、
memory
我正在尝试理解python中
的
del操作符。我正在合并两个大
数据
帧
,
并
尝试
删除
参与
的
数据
帧
。new_df = pd.merge(df1, df2, on='level', how='inner')del df2 这将
释放
df1和df2分配
的
内存
,还是只
删除
引用?我也尝试过使用gc.collect,但是在合并后
的</e
浏览 0
提问于2018-03-06
得票数 2
回答已采纳
1
回答
为什么s3
的
dask read_csv保留了这么多
内存
?
python
、
pandas
、
csv
、
amazon-s3
、
dask
注意这应该是可运行
的
,这里
的
测试
数据
来自公共s3存储桶中
的
pandas
测试套件。在这里,gzip是43mb,
并
导致大约90mb
的
开销,在我
的
实际示例中,对于10 in
的
数据
帧
,这个额外
的
部分大约是50 in
的
额外
内存
。您可以看到,如果您在另一个较小
的
文件上重新运行,则会
释放
内存
-取消对较小文件
浏览 4
提问于2018-02-24
得票数 15
回答已采纳
0
回答
Dask图
的
执行和
内存
使用
python
、
dask
、
dask-delayed
我正在dask中构建一个非常大
的
DAG,以提交给分布式调度器,在分布式调度器中,节点操作
数据
帧
,而
数据
帧
本身可能非常大。一种模式是,我有大约50-60个函数,用于加载
数据
和构造
pandas
数据
帧
,每个
数据
帧
大小为几百MB (并且逻辑上表示
单个
表
的
分区)。我想将这些连接到图中下游节点
的
单个
dask
数据
帧<
浏览 6
提问于2017-06-07
得票数 4
6
回答
c++垃圾收集和调用析构函数
c++
、
garbage-collection
对于每个
帧
,我需要分配一些
数据
,这些
数据
需要一直保留到
帧
的
末尾。 目前,我从一个不同
的
内存
池中分配
数据
,这样我就可以用
帧
计数来标记它。在
帧
的
末尾,我遍历
内存
池
并
删除
在特定
帧
中分配
的
内存
。我遇到
的
问题是,为了保持对
数据
的
控制,我必须将它放在一
浏览 2
提问于2010-01-08
得票数 2
回答已采纳
1
回答
Pandas
:垃圾收集
删除
的
列以
释放
内存
python
、
pandas
、
garbage-collection
、
drop
我正在处理一个大约有20,000,000行和4列
的
大型
数据
集。不幸
的
是,我
的
机器上
的
可用
内存
(~16 on )不够。02 09:30:36 20010102 34236 51.875 14400为了
释放
内存
,我想
删除
多余
的
Date和Time列。我使用.drop()方法执行此操作,但
内存</em
浏览 0
提问于2015-07-18
得票数 10
1
回答
循环遍历分组
的
spark
数据
帧
中
的
每一行,
并
解析为函数
python
、
apache-spark
、
pyspark
、
apache-spark-sql
| 11|| E | 63 | 17|我想按user对df进行分组,然后遍历user组中
的
每一行,以解析出我定义
的
几个函数,如下所示: ... # operation on dfusers_list = [df.filter(F.col('user')==user) for
浏览 3
提问于2021-04-20
得票数 1
1
回答
是否有一种方法来定义大熊猫中块
的
大小,作为可用
内存
的
函数?
python-3.x
、
pandas
、
dataframe
我知道我可以加载一个包含
数据
块
的
文件:for chunk in
pandas
.read_csv("path_to_my_csv.csv", chunksize=1e9):我想要做
的
是:for chunk in
pandas
.read_csv("path_to_my_csv.csv", chunkmem="200GB"): # Process我想
浏览 2
提问于2020-10-25
得票数 0
回答已采纳
1
回答
del [dataframe]与`del dataframe‘有何不同?
python
、
pandas
、
dataframe
、
memory-management
、
garbage-collection
我在看Python代码库
的
内存
消耗。这个代码库利用
pandas
和numpy来操纵巨大
的
数据
帧
。 他们由此得出结论:“如果del df和del [[df]]做同样
的
事情,那么来自单元格12
的
内存</
浏览 2
提问于2022-07-07
得票数 1
1
回答
ThreadPoolExecutor python
的
内存
泄漏
python
、
multithreading
、
memory-management
、
memory-leaks
、
threadpoolexecutor
我有一个获取一些ids
的
进程,基于这些ids,我从
数据
库中获取(
Pandas
)
数据
帧
,经过一些处理后,使用to_csv将
数据
帧
存储到文件系统,然后使用del
删除
数据
帧
。
数据
帧
的
获取和处理是使用ThreadPoolExecutor完成
的
。尽管del和线程预计将结束,但我看到
内存
使用率仍然存在,我
的
直觉是
数
浏览 7
提问于2021-04-06
得票数 1
1
回答
如何在python中取消对模块
的
引用
并
释放
内存
?
python
、
garbage-collection
、
python-module
我正在做一个项目,在这个项目中,我需要取消对模块
的
引用,
并
释放
其
内存
以进行进一步
的
模型训练。我在这里提到了在某些块之后使用
内存
的
演示代码。我使用了垃圾收集以及del函数,但它对我不起作用。scripts_v2') mem = process.memory_info().rss/(1024**2) import
pandas
process = psutil
浏览 48
提问于2020-04-02
得票数 0
3
回答
从缓存中丢弃spark
数据
帧
apache-spark
、
apache-spark-sql
、
spark-streaming
我使用
的
是带有python api
的
Spark 1.3.0。在转换巨大
的
数据
帧
时,我缓存了许多DFs以加快执行速度;df2.cache() 一旦某些
数据
帧
的
使用结束,不再需要,我如何从
内存
中
删除
DF (或取消缓存??)?例如,在整个代码中都使用df1,而将df2用于很少
的
转换,此后再也不需要它了。我想强制
删除
df2以
释放
更多
的</
浏览 2
提问于2015-08-26
得票数 39
1
回答
在python中使用elasticsearch parallel_bulk时
的
内存
泄漏
python
、
elasticsearch
、
memory-leaks
我有一些小
的
jsonl文件,它们被循环读取并在elasticsearch上被摄取。python进程似乎在不断增加
内存
使用量。if count % 10 == 0: gc.collect() 上传到elasticsearch
的
代码
浏览 47
提问于2020-09-02
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何只用一行代码让 Pandas 加速四倍?
如何只用一行代码让Pandas加速四倍?
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
将多个Excel工作表合并到一个Pandas数据帧中
这样做能让你的 pandas 循环加快 71803 倍
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券