首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >Python Popen.communicate()内存限制的替代方案?

Python Popen.communicate()内存限制的替代方案?
EN

Stack Overflow用户
提问于 2011-07-30 07:46:38
回答 3查看 5.9K关注 0票数 20

我有以下Python代码块(运行v2.7),当我处理大型(几GB)文件时,这些代码会导致抛出MemoryError异常:

代码语言:javascript
复制
myProcess = Popen(myCmd, shell=True, stdout=PIPE, stderr=PIPE)
myStdout, myStderr = myProcess.communicate()
sys.stdout.write(myStdout)
if myStderr:
    sys.stderr.write(myStderr)

在读取documentation to Popen.communicate()时,似乎有一些缓冲正在进行:

备注读取的数据缓存在内存中,因此如果数据大小很大或不受限制,请不要使用此方法。

有没有办法禁用这种缓冲,或者在进程运行时强制定期清除缓存?

在Python中运行将to级数据流式传输到stdout的命令时,应该使用什么替代方法

我需要注意的是,我需要处理输出和错误流。

EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/6880090

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档