当Celery检索结果时，Python会迅速泄漏内存

文章/答案/技术大牛

发布

1回答

python、memory-leaks、rabbitmq、celery、rpc

我为将任务添加到我的芹菜队列而编写的脚本正在泄漏内存(直到内核在20分钟后终止该进程)。在这个脚本中，我只是重复执行相同的300个任务，每隔60秒(在一个while True:中)。传递给任务makeGroupRequest()的参数是包含字符串的字典，根据hpy和objgraph的说法，字典和字符串也是内存中无法控制地增长的内容。我在这上面花了几天的时间，我不明白为什么内存会不受控制地增长，因为在循环之间没有任何东西被重用。如果我跳过任务的检索，内存似乎不会泄

浏览 32提问于2019-02-17得票数 1

回答已采纳

1回答

close()或join()等同于芹菜作业(python)？

python、celery

我说使用python的多处理包Pool需要调用：pool.join() 当您完成时，以便释放用于这些进程中的状态的内存。否则，它们会持续存在，您的计算机将被python作业填满；它们不会使用CPU，但会占用大量内存。我的问题是:我现在使用celery进行并行化(而不是Pool--我是在Django WSGI应用程序中操作的，Pool使得很难防止所有用户同时派生作业，这会使服务器崩溃)。我注意到了一个与celery</

浏览 0提问于2012-01-26得票数 3

回答已采纳

1回答

芹菜+ RabbitMQ +“套筒错误引起的”

python、django、heroku、rabbitmq、celery

如果相关的话，我们一直有一些频繁的内存泄漏，我一直试图插入，但一般情况下，服务不会退化时，它的发生。当网站被大量贩运时(就像今天一样)，我偶尔会发现以下错误：该任务被完全抛出，在任何地方都没有注册。= 'json'CELERY_ENABLE_UTC

浏览 3提问于2014-10-28得票数 7

1回答

烧瓶-芹菜-雷迪斯:记忆释放？

python、flask、redis、celery、memcached

我使用芹菜将处理重量分成几个块，然后使用get()检索所有结果：jobs = group(processing_fn.s(c) for c in chunks) time.sleep(30) 虽然这确实工作迅速和良好，但我在订购芹菜释放用于存储任务结果的RAM时遇到了麻烦。最终导致服务器耗尽内存

浏览 2提问于2020-06-16得票数 0

1回答

从芹菜中撤消任务

python、rabbitmq、celery

我想显式地从celery中撤销一个任务。这就是我目前所做的：其中task_id是string(我也尝试过将其转换为在上述过程之后，当我再次启动celery celery worker -A proj时，它仍然使用相同的消息并开始处理它。为什么？通过flower查看时，消息仍在broker部分中。

浏览 2提问于2016-08-28得票数 24

回答已采纳

3回答

禁用Celery的Django调试

python、django、celery

当启用调试时，Celery会有一个。我有一个开发服务器，我想让Celery作为一个服务运行，而不是调试，这样它就不会泄漏内存，但我希望我的Django应用程序的其余部分使用调试，这样测试时就会显示错误。

浏览 3提问于2011-01-26得票数 15

回答已采纳

1回答

Internet Explorer 7/主干中可能的内存泄漏？

javascript、internet-explorer-7、backbone.js

我已经设置了一些测试场景：没有声明的事件：我的一个想法是，当元素被移除并添加到DOM中时，声明从未清理过的事件。当我运行“未声明事件”的测试场景时，经常单击Reload数据时，呈现时间相当稳定，但是运行“事件声明”时，呈现时间会迅速增加，用于IE7的内存量也会增加。这就是为什么我认为在某个地方有一些内存泄漏。是否有人在使用主干时遇到内存泄漏问题？，

浏览 2提问于2011-10-10得票数 3

回答已采纳

1回答

使用heapy追踪Django应用程序中的内存泄漏

python、django、debugging、memory-leaks

使用get_rp时，我会得到以下输出：Reference Pattern by <[dict of] class>. 0: _ --- [-] 12000现在正确的假设是Django泄漏了内存吗？但是那些没有拥有者的字典是什么呢？

浏览 1提问于2011-08-07得票数 5

3回答

除了使用new之外，还有什么会导致内存泄漏？(c++)

c++、memory、memory-management、memory-leaks

除了使用new关键字分配内存之外，还有什么会导致C++中的内存泄漏？我有一个项目，似乎整个节目都有几处内存泄漏，但我一次都没有使用new关键字。此外，当我不小心让它运行了几个小时(4-6个小时)时，我回来后发现它也在慢慢地吞噬cpu周期。不确定这是否会是内存泄漏的直接结果(此时它几乎占用了我所有的可用内存)，因为当再次启动程序时，它不会明显地发生，但内存泄

浏览 2提问于2017-01-12得票数 0

1回答

芹菜-不能获取任务结果

python、django、celery、django-celery、celery-task

我使用Django ORM/Cache作为芹菜的结果后端。我可以看到，django_celery_results_taskresult表是在数据库中创建的。任务完成后，结果也会插入到数据库中，可以从MySQL查看。但是，当我尝试使用AsyncResult和任务ID从django manage.py shell访问结果时，我会得到以下错误。/site-packages/celery/result.py", line 224

浏览 2提问于2018-06-27得票数 3

回答已采纳

1回答

从芹菜后端获取结果异常缓慢。

redis、celery、django-celery、celery-task

任务输出的JSON大小大约为2.5MB，通过Django应用程序中的get()检索结果需要长达9秒的时间。对于较小的有效载荷，时间会减少。我尝试使用不同的result_backend配置，结果相似： RedisRPCSQLite与SQLAlchemy我尝试在使用SQLite时设置一个间隔(对于RPC &am

浏览 8提问于2022-01-14得票数 1

回答已采纳

2回答

通过返回分配的字符串来泄漏内存

string、function、memory-leaks、fortran

character(range(i)+2) :: tmp res = trim(tmp)在我的理解中，这个函数的结果永远不会被取消因此，对于大量的数字和大量调用，您可能会遇到内存泄漏。因此，我的确切意思是，我不分配函数的结果，而是使用它“就位”，如 write(*, *) "tmp_"//itoa(i)显然，我没

浏览 0提问于2019-03-08得票数 4

回答已采纳

3回答

在python中比对DNA序列

python、alignment、biopython

Biopython pairwise2做得很好，但只适用于短序列，当序列大小超过2kb时，即使使用了'score_only‘和'one_alignment_only’选项，它也会显示严重的内存泄漏，从而导致whole_coding_scores[genes]=alignment/min(len(whole_coding[genes][3]),len(whole_coding[genes][4]))job 494

浏览 1提问于2015-11-10得票数 4

1回答

在UISearchBar中单击会导致内存泄漏

iphone、uitableview、memory-management、uisearchbar

我得到了一个奇怪的内存泄漏，我刚刚查明了是什么导致的。我使用的是一个实用程序，它有一个主视图和一个侧视图。当您在flipside视图中时，您可以通过单击加号按钮来显示另一个模式视图。单击UISearchBar时，会产生内存泄漏，并显示以下信息：为什么在此栏中单击会产生该结果？任何帮助都将不胜感激。

浏览 1提问于2009-11-14得票数 0

回答已采纳

1回答

发现内存泄漏..。没有找到析构函数-用于枚举

python、swig

这是关于使用swig的嵌入式python。 swig/python检测到'std::map< MyEnum，std::string>‘类型的内存泄漏 ..。不知道为什么酒瓶需要任何特殊的破坏，当</e

浏览 3提问于2010-10-21得票数 4

1回答

在芹菜中对AsyncResult进行单元测试

python、django、unit-testing、celery

我正在尝试测试Django的单元测试框架中的一些芹菜功能，但是每当我尝试检查一个AsyncResult时，测试就好像从来没有开始过一样。我知道这段代码可以在使用RabbitMQ的真实环境中工作，所以我想知道为什么在使用测试框架时它不能工作。下面是一个示例： CELERY_ALWAYS_EAGER= True, BROKER_B

浏览 0提问于2013-06-18得票数 15

回答已采纳

1回答

当一个方法结束时，如何强制Python释放它所声明的所有内存？

python、memory、garbage-collection

我有一个用Python编写的模拟代码，它通过set/list/dict数据结构使用了大量内存。return result 我在individudalSimulation.py中添加了垃圾回收

浏览 4提问于2014-02-05得票数 1

3回答

作为芹菜代理的django数据库出现连接被拒绝错误

django、celery、django-celery

会导致内存泄漏，请不要在生产环境中使用此设置！Warnings.warn(“使用settings.DEBUG永远不会导致内存泄漏”Python 2.7.1 (r271(args, kwargs) File "/Library/Python/2.7/site-packages/celery

浏览 1提问于2012-09-07得票数 5

1回答

当使用“new”时，通过引用返回指针与通过指针本身返回指针有什么区别？

c++、reference、return

在c++中，当我在函数中使用“new”时，将创建一个指针。那么，当我考虑返回函数的结果时，引用和指针之间有什么区别呢？return *temp;指针本身 Sample * temp = new Sample(x,y);} 当不正确地使用“new”时，似乎会导致内存泄漏，在上述情况下是否会发生内存泄漏</em

浏览 2提问于2015-03-27得票数 0

回答已采纳

2回答

Node.js性能和内存泄漏

javascript、node.js、memory、memory-leaks

下面是通过newrelic进行内存分析的方法：正如你所看到的-一小时一次，当GC达到1GB时，GC正在释放内存。这对node.js (v0.12.x)可以吗?还是出了问题？我读到过newrelic的内存泄漏，但是关闭它也会带来同样的结果。

浏览 15提问于2015-09-24得票数 4

回答已采纳

点击加载更多