Celery:使worker每秒执行x个任务

文章/答案/技术大牛

发布

1回答

redis、celery

我正在使用芹菜来执行发送邮件的任务。我使用的SMTP服务器每秒只处理24个发送邮件请求。如果它超过它的限制，就会抛出错误。如何控制我的工作人员每秒只发送24 (或x)个任务。

浏览 6提问于2019-07-18得票数 2

回答已采纳

1回答

在一台机器上执行不同任务的多个工作进程

python、celery、distributed

我正在尝试用celery构建一个分布式作业执行系统。当我在一台机器(本地主机)上启动2个worker时，其中一个用于加法任务add，另一个用于减法任务sub，然后使用add.delay()启动几个加法任务，减法worker的终端中出现错误： [2013-在这个测试中，我启动了两个加法任务:一个被加法工人捕获，另一个被减法工人捕获

浏览 0提问于2013-03-05得票数 2

回答已采纳

2回答

姜戈+芹菜-为什么我的定期任务不跑？

python、django、django-celery

我在用django +芹菜做一个周期性的工作。我的项目有django-celery=3.1.17，使用的代理是Redis，它正在工作。'queue': 'periodic_tasks', }, 有更多的芹菜设置，但我想这两个是最相关的问题任务： def run(self, *args,

浏览 3提问于2016-06-23得票数 3

回答已采纳

1回答

芹菜多个工作进程，但只有一个队列

redis、celery

Celery是使用此参数运行的没有其他配置。然而，我意识到当我在celery中有一个长时间运行的作业时，它不会处理队列中的另一个任务，直到长时间运行的任务完成。我的理解是，由于我的CPU上有8个核心，我应该能够同时处理8个任务，因为-c的默认参数是核心的数量？我是不是漏掉了什么？

浏览 4提问于2017-02-24得票数 7

回答已采纳

2回答

用芹菜同时执行两项任务

python、django、celery

('tasks.test2', args=[self.id], kwargs={})如何同时执行两个任务？---- **** ------- *

浏览 1提问于2014-08-29得票数 11

回答已采纳

1回答

芹菜打得不好

celery、django-celery、celerybeat

当我执行芹菜拍打命令的时候。2013-06-27 02:17:05,936: INFO/MainProcess Celery节拍:开始. 2013-06-27 02:17:05,937: INFO/MainProcess书写条目.

浏览 3提问于2013-06-26得票数 6

回答已采纳

1回答

姜戈+芹菜PeriodicTask

python、django、task、celery

我试图在我的项目中做一个周期性的任务，但我无法使它工作。在我的开发中，我执行像这样的芹菜：但当我尝试：或我得到了一个Connection refused error。我还安装了来监视任务是否执行。我还有从代码中<e

浏览 3提问于2015-06-11得票数 0

回答已采纳

1回答

芹菜尝试关闭工人通过提高SystemExit在task_postrun信号，但总是挂起，主进程永远不会退出

python、signals、celery、systemexit

下面是我为工作人员(worker.py)使用的代码：from celery import signals return celery>>> import tasks >>> results-

浏览 2提问于2012-11-06得票数 6

回答已采纳

2回答

在Django应用程序中，芹菜任务多次执行

python、django、redis、celery、django-celery

我有一个Django应用程序，在task.py下定义了几个task.py函数，以便在给定的周期性任务中执行。任务确实在周期性任务中执行，但在多次执行。-09-20 01:22:12,047: INFO/ForkPoolWorker-4] Project Monitor DONE : APPProject2 ，如果您检查以上时间间隔，tasks.py执行一项任务，但2名芹菜工人接受该任务&在相同的时间

浏览 3提问于2019-09-20得票数 6

回答已采纳

1回答

使用芹菜删除查询集结果的周期性任务

python、django、celery、django-celery、periodic-task

我正在尝试执行一个定期任务，使用芹菜来删除那些没有及时激活账户的用户。下面的屏幕截图显示任务被正确发现和执行，但当我检查数据库时，没有进行任何更改。芹菜任务：from celery.task.schedules import crontab from celery.decorators import periodic_taskfrom celery.utils.log import get_task_logger

浏览 0提问于2015-05-06得票数 0

1回答

当员工从服务开始时，芹菜不需要多项任务

python、celery、celery-task

我的Python应用程序支持一些长期运行的任务，这些任务是使用API或来自其他系统的CURL调用来调用的。现在，我想为服务器创建一个服务，如果系统重新启动，这个芹菜工人应该自己开始但是，当从服务执行以下命令时，它不会从队列中接受任何新<em

浏览 0提问于2020-02-17得票数 2

回答已采纳

1回答

如何将Celery设置为在运行任务之前调用自定义初始化函数？

python、django、daemon、amqp、celery

我有一个Django项目，我正在尝试使用Celery提交任务以进行后台处理( )。Celery与Django集成得很好，我已经能够提交我的自定义任务并返回结果。唯一的问题是，我找不到在守护进程中执行自定义初始化的合理方法。在开始处理任务之前，我需要调用一个加载大量内存的昂贵函数，而且我不能每次都调用这个函数。以前有没有人遇到过这个问题？

浏览 0提问于2010-01-25得票数 22

回答已采纳

1回答

使用gevent时辅助进程数的Celery命令行参数

python、celery

celery worker -A celerytasks.celery_worker_init -c 5 --loglevel=info 但是对于gevent池，参数'-c‘用于指定绿号。或者，如果我必须启动多个唤醒程序，而不是一个具有多个进程的工作人员，那么我可以使用一个命令来完成这个任务吗？

浏览 2提问于2016-05-24得票数 3

回答已采纳

3回答

CELERY_ROUTES -如何根据任务名称进行路由

celery

我正在尝试让芹菜根据任务的名称路由任务...基本上，我的任务名为'worker.some_name‘和’web.ome_ name‘，并且我使用两个不同的队列，分别称为worker和web。我希望所有工作任务都进入工作队列，反之亦然。目前我有一个很大的CELERY_ROUTES字典，如下所示： "web.some_name": {

浏览 0提问于2011-10-21得票数 5

1回答

为什么芹菜周期性任务不起作用？

python、django、celery

我正在尝试在Django应用程序中创建一个定期任务。= Truefrom __future__ import absolute_import, unicode_literals我正在运行worker，并使用celery -A testproject worker --beat -l info进行节拍它启动得

浏览 0提问于2017-05-16得票数 2

6回答