拥有一个具有多个队列的芹菜工作进程有什么意义？
拥有一个具有多个队列的芹菜工作进程有以下意义：
- 提高任务处理效率：通过拥有多个队列，可以将不同类型的任务分配到不同的队列中，每个队列由独立的芹菜工作进程负责处理，可以并行处理多个任务，提高任务处理效率。
- 实现任务优先级管理：多个队列可以根据任务的优先级进行划分，高优先级任务可以被分配到处理能力更强的队列中，确保及时处理重要任务。
- 提高系统稳定性：通过将不同类型的任务分配到不同的队列中，可以避免某一类型任务出现问题时影响其他类型任务的正常执行，提高系统的稳定性和容错能力。
- 实现任务分类管理：多个队列可以按照任务的不同分类进行划分，例如按业务类型、任务来源等分类，方便对任务进行管理和监控。
- 支持动态扩展：通过增加或减少队列，可以根据实际需求灵活调整芹菜工作进程的处理能力，支持系统的动态扩展和伸缩。
在腾讯云产品中，可以使用消息队列 CMQ（腾讯云消息队列）来实现多个队列的管理。CMQ 提供了高可用、高可靠的消息队列服务，能够支持灵活的消息发布和订阅机制，满足不同场景下的消息通信需求。您可以使用 CMQ 将任务消息发送到不同的队列中，并通过多个芹菜工作进程分别处理这些队列中的任务。
更多关于腾讯云消息队列 CMQ 的信息，您可以参考以下链接：腾讯云消息队列 CMQ
相关·内容
1回答
芹菜中的worker和worker进程之间的关系是什么？在一台机器上运行多个工作进程有意义吗？这是系统配置 8核和32 RAM。 我尝试的芹菜配置如下 celery -A Comments_DB worker --loglevel=INFO --concurrency=8 我希望在给定的时间范围内增加处理的请求数。哪种方法更好？ a. 2个工作线程，每个并发设置为8( 2*8 = 16)或 B.1并发设置为16 *1*16=16)？ 有谁能澄清一下吗？
浏览 19提问于2019-02-16得票数 0
2回答
前提条件:有一个小芹菜集群在处理一些任务。每个celery实例都有很少的工作进程在运行。一切都在烧瓶下运行。
任务:我需要一种从代码中暂停/恢复使用特定节点任务的能力。即任务可以决定当前芹菜实例和她的所有工作者是否应该暂停或恢复消费任务。
没有找到任何直接的方法来解决这个问题。有什么建议吗？
提前感谢！
浏览 0提问于2012-04-17得票数 2
2回答
我正在使用Django 10、RabbitMQ和芹菜4在CentOS 7上运行一个站点。
我的芹菜节拍和芹菜工人实例由主管控制，我使用django芹菜数据库调度器。
我在Django-admin中使用cronsheduler调度了一个cron样式的任务。
当我开始用芹菜拍打和工人的例子时，工作就会如期而至。
但是，如果在Django-admin中更改了计划时间，那么除非我重新启动了芹菜-节拍实例，否则这些更改不会被捕获。
我是不是缺少了什么东西，还是需要自己编写调度程序？
芹菜拍打，用'django_celery_beat.schedulers.DatabaseScheduler‘从数
浏览 0提问于2016-11-13得票数 10
回答已采纳
2回答
芹菜工作流程
、、
我是django的初学者，我安装了芹菜。
我对芹菜的工作感到困惑，排队的工作是同步处理还是异步处理。当排队的工作已经在处理时，其他工作是否可以排队？
浏览 0提问于2014-09-24得票数 1
芹菜会将任务发送给空闲的工人。
我有一个任务将每5秒运行一次，我希望这个任务只发送给一个指定的worker。
其他任务可以共享剩余的工作人员
芹菜能做到吗？？
我想知道这个参数是什么：CELERY_TASK_RESULT_EXPIRES
这是否意味着该任务将不会发送到队列中的worker？
或者，如果运行时间太长，它会停止任务吗？
浏览 0提问于2015-12-26得票数 8
1回答
芹菜任务子进程填满并发插槽？
、、、、
我正在使用CELERYD_CONCURRENCY = 4在队列中运行一系列长时间运行的重芹菜任务(产生多个子进程)。最初，4项任务按其应有的方式启动。然而，当任务完成时，直到更多的任务完成后才开始新的任务，很快芹菜就会将活动任务的数量减少到1或2，直到所有的任务都完成为止(由芹菜花确认)。
当我只运行一些简单的任务，比如默认的芹菜add函数时，一切都如预期的那样工作。
由芹菜任务(与任务具有相同的进程组ID )启动的子进程是否计算来填充并发槽？有什么办法确保芹菜只计算任务本身吗？
浏览 4提问于2014-06-17得票数 2
回答已采纳
1回答
具有非同质任务的芹菜
、、、
我有两个芹菜工人，工人1有任务A和B，工人2有任务A、B和C。如果我提交一个任务C，它似乎不会在有任务C的芹菜工人中执行；有没有什么方法可以确保只有工人2被分配任务C？
浏览 0提问于2010-11-19得票数 2
回答已采纳
1回答
雷迪斯芹菜与雷迪斯单独
、、、、
我很难理解使用芹菜有什么好处。我知道你可以用芹菜和红宝石，RabbitMQ等，但为什么我不直接得到客户端的那些消息队列服务，而不是坐在芹菜前面呢？
浏览 1提问于2016-08-28得票数 0
回答已采纳
2回答
我以前从未使用过芹菜，我也是django的新手，所以我不确定是否应该在我的项目中使用芹菜。
我的项目简介：
有一个API用于向科学计算集群发送(通过SSH)作业。API是对不同科学作业队列供应商的抽象。我的项目基本上是用django为这个API做一个web。
因此，我关心的是，如果我使用芹菜，我将在本地web服务器中有一个队列，在每个远程集群中有一个队列。我担心这可能会使实现变得没有必要。
API还在开发中，有些特性还没有完全完成。有一个函数用于检查远程作业执行的状态(运行、完成等)。但是对状态更改的回调支持还没有准备好。这里是我认为芹菜可能合适的地方。我会有一个或几个定期任务监视工作状态。
浏览 0提问于2013-09-17得票数 0
回答已采纳
2回答
我把芹菜分成以下几个部分
芹菜
芹菜工
芹菜守护进程
经纪人: Rabbimq或SQS
队列
结果后端
芹菜监测器(花卉)
我的理解
当我在django e执行芹菜任务时，g tasks.add(1,2)。然后芹菜把这个任务添加到队列中。我很困惑上面列出的是4还是5
WHen任务进入队列，然后worker获取该任务并从队列中删除
该任务的结果保存在结果后端。
我的困惑
芹菜守护进程和芹菜工人之间有什么区别？
是Rabbitmq在做队列的工作。这是否意味着任务保存在Rabitmq或SQS中？
花是做什么的。它是否监视工作人员、任
浏览 5提问于2016-04-26得票数 1
1回答
我正在使用芹菜和RabbitMQ作为代理。
我的项目将由一些长期运行的连续任务组组成。前一组任务的输出是下一组任务的输入。
所有工作节点将首先使用第一种类型(组)的任务，然后所有的工作节点将使用下一种类型的任务，以前的结果作为输入，依此类推。
我的问题是，在芹菜中，我应该定义多少个队列？所有任务只有一个队列？或者我应该为每种类型的任务使用一个队列？在这种情况下，使用1个或更多队列有什么好处？
提前谢谢你！
浏览 1提问于2012-12-19得票数 0
回答已采纳
1回答
关于芹菜我没什么问题。请帮我一把。
我们需要把项目代码放在每个芹菜工人身上吗？如果是的话，如果我正在增加工作人员的数量，并且正在更新我的代码，那么在所有员工实例中更新代码的最佳方法是什么(而不每次都手动将代码推送到每个实例中)？
在芹菜工人中使用-Ofair作为参数，即使设置了PREFETCH_LIMIT=8 or so，也可以禁用工人的预取
重要事项: rabbitmq是将任务分配给工人，还是由工人从代理中提取任务？
在一个系统中有一个以上的芹菜工人(子进程和核数一样多)有意义吗？我看到很少有人在一个单一的系统中管理多个芹菜工人。
为了补充前面的问题，这两种场景之间的性能
浏览 0提问于2019-06-20得票数 3
我有一个任务生产者和多个工作人员来使用这些任务。许多地方推荐狂犬病和/或芹菜。然而，python有一个内置的多处理队列，可以使用管理器/代理在ip/端口上共享。用像兔子这样的东西来代替它有什么好处呢？
浏览 0提问于2019-06-18得票数 2
回答已采纳
2回答
干杯,
我在生产环境(Linux上)中运行了一个芹菜设置，在这个环境中，我需要从两个专用队列(每个队列一个)中使用两种不同的任务类型。出现的问题是，所有工作人员总是绑定到两个队列，即使我指定它们只使用其中一个队列。
TL;DR
芹菜，2个队列
消息按设计在正确队列中发布。
工人们一直在消耗两个队列。
导致死锁
一般信息
将我的两种不同的任务类型看作是分层设置：
任务是一个常规的芹菜任务，可能需要相当长的时间，因为它动态地分派其他芹菜任务，并可能需要将其各自的结果链在一起。
节点是一个动态分派的子任务，它也是一个常规的芹菜任务，但它本身可以被认为是一个原子单元。
浏览 1提问于2016-07-11得票数 1
我正在寻找一些关于使用多个后端芹菜的帮助。目前，以我所拥有的知识，我可以使用RabbitMQ或Redis作为后端，但我找不到太多关于同时使用这两个后端的信息。
我正在寻找像下面这样的东西
app = Celery("tasks", broker="amqp://guest:guest@localhost//", backend1="rpc://", backend2="redis://localhost")
提前谢谢。
浏览 12提问于2019-08-07得票数 1
1回答
芹菜比多进程慢？
、、
我有两台电脑，c1和c2。c1是双核处理器，c2是四核处理器。因此，我使用6个工人将这两台计算机与芹菜连接起来，以完成一些任务。然而，当我在c1中使用6个工作进程的多处理时，似乎芹菜中的每个工作进程在多处理中都较慢？为什么会这样呢？那么与多进程相比，芹菜的优势是什么呢？
例如：
我有一个函数：
def readFromHBase(inputData):
...
return data
我使用芹菜和多进程从100000个样本中读取了1,000个文件。
在芹菜中，我设置了6个工人跨越两台计算机c1和c2，如上所述。每个工人将读取10个文件，直到1000个文件
浏览 2提问于2013-07-02得票数 2
2回答
我一直致力于让一些分布式任务通过RabbitMQ工作。
我花了一些时间试图让芹菜做我想做的事情，但无法让它工作。
然后，我试着使用Pika，几分钟之内，一切都正常，毫无瑕疵。
使用Pika而不是芹菜，我会错过什么吗？
浏览 5提问于2014-05-21得票数 22
回答已采纳
3回答
我最近一直在吃芹菜，我不喜欢。它的配置乱七八糟，过于复杂，而且文档也不完整。
我想用芹菜从一个单一的生产者向多个消费者发送广播信息。令我困惑的是芹菜术语和底层运输RabbitMQ术语之间的差异。
在RabbitMQ中，可以有一个和多个队列来广播消息：
但是在芹菜中，所有的术语都是混乱的:在这里，您可以拥有一个，它向多个消费者发送消息：
我甚至不明白芹菜广播队列是如何工作的，因为具有多个使用者的RabbitMQ队列是用来进行负载平衡的。因此，在RabbitMQ中，如果多个消费者(即一个消费者池)连接到同一个队列，则只有一个使用者将接收和处理消息。
此外，芹菜文件的广播是真的不
浏览 3提问于2014-06-18得票数 13
回答已采纳
1回答
我对芹菜有了基本的了解，以及它是如何工作的。在我目前的项目中，我遇到了优先处理任务的需求。我的意思是，如果有两种任务，比如说芹菜队列中的A和B，那么芹菜应该优先处理任务B，而不管哪个任务在队列的头部。有没有办法做到这一点？
队列优先级对我来说也没问题。这意味着我可以创建两个不同的队列，比如high_priority_queue和low_priority_queue，而celery应该总是先执行high_priority_queue中的任务，然后再执行low_priority_queue。
我还知道我们可以将不同的工作进程分配给两个队列，但这意味着两个队列中的任务是同时执行的。我需要先执行hig
浏览 13提问于2017-12-31得票数 2
回答已采纳
1回答
在我的项目中，我有一个芹菜任务，它每30秒由芹菜节拍发送给工人。我想知道芹菜是如何执行芹菜任务的？无论是为每个任务产生一个新线程，还是为task.How产生一个新工作线程，我们都可以知道任务是否完成并从我正在使用RabbitMQ的message broker队列中删除。
浏览 1提问于2017-10-30得票数 1
我在一家旅游公司工作，我们需要定期给我们的团队发送邮件。
从现在起，我一直在使用django管理命令，并使用crontab运行它们。我读到了芹菜的功能，但我发现真的很难理解为什么我要使用芹菜？
另外，由于这将是对我的django项目和数据库的又一次添加，它会降低性能吗？
浏览 2提问于2013-06-10得票数 8
回答已采纳
1回答
我们需要扩展芹菜，以避免有限的芹菜工人排起长队，而是在ACI中产生新的芹菜容器来分发这些任务。 为了实现这种扩展(在ACI中生成新的芹菜容器)，我们需要知道等待执行的任务的数量，并相应地在ACI上生成这些容器。 任何建议都将不胜感激。
浏览 11提问于2020-07-25得票数 0
我有一些关于任务路由、并发性和性能的问题。这里是我的用例：
我有一个专用的服务器来运行芹菜任务，所以我可以使用所有的CPU在这个服务器上运行芹菜工人。
我有很多不同的python任务，我使用: CELERY_ROUTES路由，因为这些任务执行不同类型的python代码，所以我创建了5个不同的工作人员。这些工作人员是在我使用ansible部署项目时创建的，下面是一个示例：
[program:default_queue-celery]
command={{ venv_dir }}/bin/celery worker --app=django_coreapp --loglevel=INFO --co
浏览 2提问于2017-07-04得票数 2
回答已采纳
2回答
如何锁定芹菜任务中的变量？
、、、、
我有一项芹菜任务，它破坏了一些变数。如果我设置了一个芹菜工人，它会很好地工作，但是当我使用并发时，一切都搞砸了。我如何锁定关键部分，其中的变量被破坏？
inb4:使用Python3.6，Redis既是代理，也是结果支持。threading.Lock在这里帮不上忙。
浏览 3提问于2017-08-16得票数 2
回答已采纳
1回答
我有一个带有任务列表的进程，这些任务是在不同的工作节点上使用芹菜执行器运行的。但是，我想在主节点上运行其中一个任务。这有可能吗？
浏览 5提问于2017-07-24得票数 4
回答已采纳
2回答
我有一个Python/Django项目运行在uwsgi/nginx上。对于异步任务，我们使用rabbitmq/celeryd和supervisord来管理所有守护进程。
版本：
python: 2.7
django: 1.9.7
芹菜: 3.1.23
姜戈-芹菜: 3.1.17
芹菜有10个Direct类型的队列(例如queue1，queue2，.)每个队列由一个单独的celeryd进程处理，该进程通过监督管理。每个监督each过程如下所示
[program:app_queue_worker]
command=/var/www/myproj/venv/bin/celer
浏览 2提问于2017-03-09得票数 3
1回答
精力充沛的芹菜
、、、
我正在整理一个基于芹菜的数据摄取管道。我在文档中没有看到的一件事是，如何构建一个只有在有工作要做的时候，工人才会运行的流。(说实话，这似乎是芹菜设计中的一个重大缺陷)
我知道芹菜本身不会处理实际服务器的自动标度，这很好，但是当我模拟这个Flower时，不会看到提交的工作，除非提交任务时工人是在线的。为什么？我希望在这样一个世界里，除非有实际的工作要做，否则我不会为服务器付费。
工作流程：
假设有一个While循环，它添加要使用celery_app.send_task方法处理的新数据。
我有自定义代码，它可以看到队列中有N条消息。它启动服务器，并启动用于该任务的芹菜工人。
芹菜工人上
浏览 1提问于2018-01-24得票数 1
3回答
我们最近被迫用RQ代替芹菜，因为它更简单，芹菜给我们带来了太多的问题。现在，我们无法找到动态创建多个队列的方法，因为我们需要同时完成多个作业。因此，基本上，对我们其中一个路由的每个请求都应该启动一个作业，让多个用户等待一个用户的作业完成，然后我们才能继续下一个作业是没有意义的。我们定期向服务器发送请求，以获取作业的状态和一些元数据。这样我们就可以用进度条更新用户(这可能是一个很长的过程，所以为了UX，必须这样做)
我们使用的是Django和Python的库。我们没有使用 (请让我知道使用它有什么好处)
到目前为止，我们在一个控制器中启动了一个任务，如下所示：
redis_conn = Redi
浏览 1提问于2015-09-16得票数 15
回答已采纳
1回答
我已经阅读了官方芹菜的，DigitalOcean的，并运行了非常好的。但我不能理解我的应用程序如何像在Resque Ruby中那样进行通信。例如，我在docker容器中有主要的python应用程序，它必须为其他容器中的其他2个python应用程序生成任务。在Resque中，我的应用程序只是监听一些队列并接收任务，然后做一些工作并推送响应。
浏览 3提问于2016-11-30得票数 3
1回答
一个非常直接的问题，也许是--我经常看到一个芹菜任务进程在我的系统上运行，当我使用celery.task.control.inspect()的active()方法时，我找不到它。通常这个进程会运行几个小时，我担心它是某种僵尸。通常它也会占用很多内存。
有没有办法通过linux的pid来查找任务？芹菜或AMPQ结果后端可以保存吗？
如果不是，有没有其他方法可以找出哪个特定的任务正在耗尽内存？
-更新：
当active()告诉我在一个特定的机器上没有任务在运行，但是机器的内存已被完全使用，并且htop显示这些工作池线程正在使用它，但同时使用0%CPU时，我该怎么办？如果事实证明这与我当前racks
浏览 0提问于2013-01-22得票数 2
回答已采纳
2回答
用芹菜输出文件
、、
我试图使用芹菜输出到多个文件。任务非常简单：
获取一些数据以及文件路径
将该数据附加到文件路径(如果文件不存在，则创建该文件)
我不想每次打开/关闭文件句柄，因为在很多情况下我都会写入同一个文件。所以我做了一个简单的FileHandlePool。
但是，在运行时，我注意到，对于每个线程/实例，芹菜将生成一个新的FileHandlePool！所以，我有被覆盖的文件。
处理这种情况的最佳方法是什么？是否有可能让m FileHandlePool位于与主线程相同的范围内，并让其他芹菜线程访问它？
谢谢!
浏览 3提问于2013-01-25得票数 5
1回答
我需要在后台运行web应用程序的一些任务(检查代码等)，而不阻止视图。
典型的Queue/Celery场景的曲折之处在于，我必须确保任务完成，即使web应用程序崩溃或重启，也要幸免于难，直到这些任务完成，无论它们的最终结果如何。
我在考虑在数据库中记录multiprocessing.Pool的参数，并在webapp重启时启动所有未完成的任务。这是可行的，但我想知道是否有更简单或更具成本效益的方法？
更新:为什么不是芹菜本身呢？嗯，我在一些项目中使用了Celery，它确实是一个很好的解决方案，但对于这个任务来说，它是一个很大的解决方案:它需要一个单独的服务器，通信等，而我所需要的是产生一些进程/
浏览 6提问于2014-10-05得票数 3
2回答
芹菜配送队伍与工人
、、、、
我对芹菜很陌生，我正在努力了解排队是如何工作的。如果我有两个任务，比如task1和task2，我把它们放在不同的队列中，在task1上我只使用一个工人，而在task2上我使用多个工作，task1一次只运行一个，因为我只有一个工作人员？task2运行的次数会和我的员工一样多吗？我的理解正确吗？
浏览 0提问于2018-12-26得票数 3
回答已采纳
事实上，我没有几个django应用程序具有芹菜任务。我需要每个任务在特定的通道内执行，这样我就可以控制负载。例如，我可能有3台服务器监听channel_for_app_1，2台服务器监听channel_for_app_2。我的问题是如何运行芹菜守护进程并指定通道？还有其他方法吗？
浏览 6提问于2013-11-27得票数 2
回答已采纳
我需要通过Django web界面执行PERL脚本。
用户将选择脚本的参数并执行它。
我想知道是否可以使用Celery/RabbitMQ将这些脚本作为Celery任务执行？
如果是这样，我需要修改PERL脚本吗？我是否必须将RabbitMQ代码写入PERL脚本？或者，我应该只执行Celery任务并等待脚本完成处理吗？我想让脚本更新Django用户/芹菜。
浏览 1提问于2013-11-05得票数 0
我有两种任务。任务A由celerybeat每小时生成一次。它立即运行，并生成一千个(或数千个)任务B的实例，每个实例都有一个未来一天的ETA。
在启动时，任务A的一个实例运行并生成一千个B。从那时起，什么都不会发生。我应该看到每小时跑一个A，再跑一千个B。但事实上我什么也没看到。
在冻结时，rabbitmqctl显示1000条消息，其中968条就绪，32条未确认。一个小时后，有1001条消息，969条就绪，32条未确认。以此类推，每小时有一条新消息被分类为就绪。可能发生的情况是，工作人员正在预取32条消息，但无法对其执行操作，因为它们的预计到达时间仍在未来。同时，现在应该运行的较新任务无法运行
浏览 2提问于2014-05-13得票数 12
1回答
我的情况是：
在5到20个测试环境之间，由5个VM分隔成组(1组通常=5 VM)
数百个测试用例，应该在一个VM集中同时执行。
有5名工人的芹菜( VM的1项VM项目的每个工人：alpha，beta，charlie，delta，echo<code>E 215</code>)
测试集可以按不同的顺序运行，并使用diff。执行的时间。每个工作人员应该只执行一个测试用例，而不应重叠或并发。每个工作人员只从自己的队列/使用者运行任务。
在以前的版本中，我有一个多处理的解决方案，它工作得很好。但是，对于芹菜，我不能为一组的所有5VM添加所有100个测试用例，它
浏览 1提问于2017-12-26得票数 0
1回答
我有一个Django应用程序，它应该经常监听来自卡夫卡的信息，然后通过WebSocket发送给客户端。问题是如何设置常量侦听器。为了将来的可伸缩性，我们决定在项目中引入芹菜，通过扩展来管理这些问题。
我的任务实际上看起来是：
class ConsumerTask(Task):
name = 'consume_messages'
def run(self, *args, **kwargs):
consumer = get_kafka_consumer(settings.KAFKA_URL,
浏览 7提问于2020-03-19得票数 2
回答已采纳
5回答
芹菜在节点JS中的等价物
、、、、
请建议在Node中使用相当于芹菜的方法来运行异步任务。我找到了以下几个方面：
()
Kue ()
咖啡()
cron ()
芹菜()
我在后台运行了手动线程和自动线程，并与MongoDB进行了交互。
节点芹菜使用的是redis DB而不是Mongo。有什么办法可以改变吗?当我安装节点-芹菜红被安装为依赖。
我对芹菜很陌生，请guide.Thanks。
浏览 6提问于2015-02-12得票数 26
回答已采纳
有没有办法通过工作人员更改已处理ID的批量大小？
我使用Redis作为mysql的队列，这是由于Laravel 5.3将大数据导入mysql。
另一件事是，我认为，在这里溢出php不是一个好主意，尽管我已经将php.ini内存更改为512MB。
据我所知，由于redis的性质是FIFO列表，在这种情况下，有没有一种方法可以同时运行多个worker？(这可能是另一个问题，很抱歉)
请随意将我推向另一个方向，因为我对任何建议都持开放态度。
浏览 16提问于2017-08-17得票数 1
1回答
Celery仅执行同步任务
、、、、
我必须在子模块存储库上工作，所以我更喜欢只运行同步任务。我正在使用celery pending tasks定期更新我的存储库，而且我还必须在用户请求后执行相同的任务。 以下是芹菜调度配置： app.conf.beat_schedule = {
'sync': {
'task': 'app.task_to_sync',
'schedule': 0.2
}
} (对于测试，时间表设置为0.2S)。 下面是用户请求调用： task_to_sync.apply().get() 我设
浏览 43提问于2020-03-20得票数 0
1回答
有没有一种方法可以让所有添加到Celery中的任务一个接一个地执行？
我有一堆芹菜任务，它们可以在任何时候发生(它们是由用户触发的)，我希望它们不会同时运行，以减轻我服务器上的负载。
浏览 12提问于2019-08-07得票数 0
1回答
芹菜是如何工作的？
、、、、
我最近开始致力于分布式计算，以提高计算速度。我选择了。然而，我对一些术语并不十分熟悉。所以，我有几个相关的问题。
来自
什么是任务队列？
..。
芹菜通过信息交流，通常使用经纪人在客户和工人之间进行调解。要启动任务，客户端将消息添加到队列中，然后代理将该消息传递给工作人员。
什么是客户(这里)？什么是经纪人？为什么消息是通过代理传递的？为什么芹菜要使用后端和队列来进行进程间通信？
当我通过发出命令执行芹菜控制台时
celery worker -A tasks --loglevel=info --concurrency 5
这是否意味着芹菜控制台是一个工作进程，负责5个不同的进程，并跟踪
浏览 3提问于2016-01-10得票数 16
1回答
是否有任何方法让芹菜重新检查主队列中是否有任何任务可以启动？远程命令add_consumer()会完成这项工作吗？
原因:我正在运行几个并发任务，这会产生多个子进程.当任务完成时，子进程有时需要几秒钟才能完成，因此由于并发限制被子进程最大化，因此队列中的新任务永远不会启动。而且，由于芹菜在子进程完成后不会再次检查，队列会在没有活动任务的情况下陷入停滞。因此，我想添加一个周期性的任务，告诉芹菜重新检查队列并启动下一个任务。我该怎么告诉芹菜？
浏览 3提问于2014-07-02得票数 2
1回答
我有一个长时间的轮询设置(使用Amazon客户端库)来在消息传入时提取消息，但是这个主机不需要读取和删除一些消息，所以会跳过它们。我想知道是否有办法告诉我的下一个长期民意测验请求跳过那些排除在外的消息？
我的最终目标是有一个长时间的轮询设置来处理来自队列的消息，而不对某些排除的消息执行完成块。我应该使用更好的方法吗？
浏览 0提问于2014-11-07得票数 0
回答已采纳
继续How does a Celery worker consuming from multiple queues decide which to consume from first? 我设置了一个worker，并让它监听两个队列。我从上面链接的问题中了解到，工作人员将以循环方式或按消息到达的顺序(取决于芹菜版本)使用这两个队列中的消息。 那么这个设置的目的是什么呢？为什么它与单个队列不同？这是否只对监控有帮助，或者我在这里缺少了一个可操作的好处？
浏览 33提问于2021-11-16得票数 1
回答已采纳
2回答
我使用芹菜的方式是不寻常的--当芹菜开始的时候，我正在创建定制的过程，当芹菜运行时，这个过程应该一直运行。芹菜工人在他们的任务中使用这个过程(细节不需要)。
我从命令行运行芹菜，一切都很好：
celery -A celery_jobs.tasks.app worker -B --loglevel=warning
但是当我用celeryd来削弱芹菜时，就没有办法阻止它了。命令celeryd stop试图阻止芹菜，但永不停止。
在这两种情况下，当我检查进程树时，都有不同之处--当从命令行运行时，父进程显然是芹菜进程(主进程以芹菜工人为儿童)。杀死(停止)母芹菜过程将停止所有芹菜工人和我的定制过程。
浏览 3提问于2014-06-16得票数 1
回答已采纳
Rabbitmq beam.smp进程无缘无故地使用大部分内存大小
RabbitMQ版本:3.7Erlang 22
我没有任何特殊的配置或任何东西
除了Rabbitmq，我不用芹菜或其他东西。
我搜索了这个问题，我找到的都是与芹菜有关的东西！
这个RabbitMQ有什么问题..它不能在几天内不出问题！
浏览 11提问于2019-07-17得票数 3
这是一个一般性的问题，我寻求答案，因为我看到了一个芹菜任务，从我的公司代码库从以前的雇员。
这是一个共享任务，它调用一个端点，如
@shared_task(time_limit=60*60)
def celery_task_here(some_args):
data = get_data(user, url, server_name)
# some other logic to build csv and stuff
def get_data(user, url, server_name):
client = APIClient()
client.force
浏览 3提问于2020-05-12得票数 0
回答已采纳
我很抱歉，如果它的基础，但我没有找到任何答案在互联网上比较这两种技术。我应该如何决定什么时候使用，因为这两者都可以用来安排和处理周期性的任务。
这是一篇文章所说的：
Django-芹菜:
作业是任何在后台为您进行某些处理的应用程序的重要部分。如果您的工作是实时Django应用程序，可以使用芹菜。
Django-cronjobs :
django-cron作业可以用来调度periodic_task，这是一个有效的作业。django-cronjobs是一个简单的Django应用程序，它通过管理命令运行注册的cron作业。
有谁能解释一下我应该什么时候选择哪一个和为什么？另外，我需要知道为什么
浏览 4提问于2019-11-26得票数 12
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
