芹菜队列中不同队列如何设置不同的visibility_timeout

文章/答案/技术大牛

发布

1回答

芹菜+ SQS两次接收同一任务，同一任务id同时接收

flask、celery、amazon-sqs、celery-task

芹菜与SQS在烧瓶应用中的应用像这样跑步的工人，这是芹菜

浏览 3提问于2019-12-01得票数 11

1回答

celery、amazon-sqs、django-celery

我正在使用芹菜和sqs进行后台任务处理。我们有多个任务在运行，我想为不同的任务设置不同的visibility_timeout；可以在settings.py文件中这样做吗？当前的settings.py文件是 'region': 'ap-southeast-1', 'polling_interval': 1

浏览 7提问于2018-07-19得票数 0

1回答

芹菜与红葡萄酒经纪人的能见度超时

python、redis、celery

我正在努力实现以下行为：这意味着，如果任务在30秒内没有中断，则应该将一个新任务添加到队列中。

浏览 0提问于2018-08-10得票数 0

1回答

如何将Supervisor + Django + Celery与多个队列和工人一起使用？

celery、django-celery、supervisord

我正在使用Celery + Django + Supervisord，我试图通过创建3个不同的队列来设置“优先级”(如所建议的)。有没有办法在主管的一个命令中为每个队列启动芹菜节拍和工作进程？或者，我是否需要为每个队列/工作器池创建不同的supervisor配置文件，并为芹菜节拍创建一个文件？

浏览 0提问于2013-08-02得票数 9

3回答

芹菜SQS +任务重复+ SQS能见度超时

python、celery

我的大部分芹菜任务的ETA时间都比Amazon定义的最大可见性超时时间长。芹菜说：如果我使用SQS，我应该做些什么来避免在我

浏览 5提问于2016-12-23得票数 7

回答已采纳

2回答

如何布局队列/工作结构以支持多个环境中的大型任务？

python、django、celery

对于基于Python/Django/Celery的部署工具，我们有以下设置：针对多个环境的Concurrency：任务应该同时执行。吞吐量优化：

浏览 2提问于2010-05-06得票数 12

2回答

我需要一个django-芹菜守护进程来收听特定的兔子频道。

python、django、rabbitmq、celery、django-celery

事实上，我没有几个django应用程序具有芹菜任务。我需要每个任务在特定的通道内执行，这样我就可以控制负载。我的问题是如何运行芹菜守护进程并指定通道？还有其他方法吗？

浏览 6提问于2013-11-27得票数 2

回答已采纳

1回答

优先处理芹菜队列/任务

python、python-3.x、celery

我对芹菜有了基本的了解，以及它是如何工作的。在我目前的项目中，我遇到了优先处理任务的需求。我的意思是，如果有两种任务，比如说芹菜队列中的A和B，那么芹菜应该优先处理任务B，而不管哪个任务在队列的头部。队列优先级对我来说也没问题。这意味着我可以创建两个不同的队列，比如high_

浏览 13提问于2017-12-31得票数 2

回答已采纳

1回答

检查芹菜多项任务的最佳方法？

python、celery、jobs、worker

经过调查，我发现更多的问题.下面是更详细的Emxaple：检查db select count(id) in xxx where job_id = yyy等于l

浏览 0提问于2015-06-23得票数 4

1回答

芹菜中不同队列使用不同的Redis数据库

python、django、redis、celery、worker

目前，该应用程序的3队列 (& 3个工作人员)连接到单个Redis实例进行通信。在这里，前两个工作人员是基于预叉的工作人员，第三个是工作人员。与代理和后端有关的芹菜设置变量如下所示：CELERY_RESULT_BACKEND="redis://localhost:6379/1" 由于

浏览 2提问于2021-01-08得票数 1

回答已采纳

1回答

芹菜:限制内存使用(大量django安装)

celery、django-celery

我们在一个单独的盒子上安装了大量的django。每个代码库都有自己的代码库& linux用户。当一个工作人员启动时，它需要大约30 it的内存。当它运行了一段时间后，这个数量可能会增加(大概是由于碎片的缘故)。最后一

浏览 5提问于2013-12-22得票数 4

1回答

芹菜排队限时设置

python、celery

我有一个使用芹菜的项目，最初实现了一个独特的队列，这可能会造成一些麻烦。

浏览 6提问于2017-02-17得票数 1

1回答

如何使用Python Azure Functions QueueTrigger手动将消息出队？

azure、azure-functions、azure-function-app、azure-queues

我正在使用Azure函数队列触发器在Python中读取队列消息和处理工作。我将我的batchSize参数设置为1以限制并发性。在Python代码中，我有一个额外的检查，以查看工作是否准备好进行处理，如下所示： do_work() dequeue the message我想我可以通过将visibilityTimeout设置为00:01:00来实现重试。但是，将消息出队的最佳

浏览 0提问于2020-10-28得票数 0

1回答

不使用任务子类的CELERY_ROUTES芹菜任务路由

python、django、celery

我使用的是芹菜3.0.20，我很难让芹菜任务与不同的队列一起工作。Django设置包含以下芹菜配置： Queue('default', Exchange('default默认情况下，所有任务都在default<

浏览 1提问于2014-05-28得票数 2

回答已采纳

1回答

芹菜任务不会执行

python、django、celery

我跟踪了，现在我正在执行我的任务。我的项目树如下所示：draft1-- -------draft1 ---- -------manage.pylibdef print_this():

浏览 4提问于2017-09-26得票数 3

回答已采纳

1回答

我的同事曾经写过芹菜任务，必要的配置在设置文件中，也有主管配置文件。一切都很好。这些项目交给我，我看到了一些我必须解决的问题。问题是，我正在通过一个循环创建任务，并且只有一个任务是从celeryd of projA接收到的，而剩下的任务没有被接收(或者可以被celeryd of projB接收)。但是当我停止projB的芹菜程序时，一切都很好。请注意，django-app的实际名称是项目，因此<em

浏览 3提问于2016-12-25得票数 1

回答已采纳

2回答

停止芹菜工人在所有队列中消费

python、multithreading、celery

干杯, 将我的两种不同的任务类型看作是分层设置：任务是一个常规的芹菜任务，可能需要相当长的时间，因为它动态地分派其他芹菜任务，并可能需要将其各自

浏览 1提问于2016-07-11得票数 1

2回答

芹菜:如何以可靠和可测试的方式获得队列大小

python、redis、celery

我正失去理智，试图找到一种可靠的、可测试的方法来获取给定芹菜队列中包含的任务数量。我使用Redis作为后端，但我希望有一个独立且灵活的后端解决方案，特别是用于测试。下面是我测试用例中的代码： celery_test_app

浏览 0提问于2020-04-29得票数 6

1回答

用芹菜将消息发布到RabbitMQ中的交换

python、django、rabbitmq、celery、django-celery

交换可以将消息发布到多个队列，Cosumer可以在多个队列上使用消息，简而言之：描述了一种使用Pika的解决方案，这是一个比芹菜更低层次的RabbitMQ客户端。芹菜文档在其中描述了这个场景，但没有描述如何创建一个生成消息的生产者，该生成消息被发送到一个Exchange，后者将其分发给不同的队列，如上面的图片所示。它只描述了如何传递消息队列和 --但我

浏览 1提问于2018-02-06得票数 4

1回答

django celery -在一个worker中运行两个队列

django、celery

我正在使用芹菜来满足我的项目需求。目前，我已经创建了一个队列'HighPriorityQueue‘和默认队列，也就是说，将有一个单一的worker和两个队列。将有不同的任务在这两个队列中排队。我的疑问是，芹菜将如何处理这些队列？celery会并行处理队列吗？或者，我可以这样做吗?如果某个任务在'HighPriorityQue

浏览 0提问于2013-03-04得票数 3

点击加载更多

芹菜+ SQS两次接收同一任务，同一任务id同时接收