腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Celery
-
自动
重试
在
崩溃
的
worker
上
运行
的
长时间
运行
的
任务
、
、
我正在使用
Celery
和Django,而不是Redis。 我
的
一些
任务
相当长,涉及到1 hour。我知道这是次优
的
,最好使用更短
的
任务
,但这就是我得到
的
…… 有时
任务
/工作者会
崩溃
。这可能是由于各种不重要
的
原因造成
的
。也许这个工作线程
崩溃
了,网络问题,抢占时
的
spot-instance,被OOM杀死,或者任何其他我无法“捕捉”和处理
的
意
浏览 44
提问于2021-05-01
得票数 0
3
回答
如何在芹菜中远程启动/重启工作进程?
、
、
有一个包含不同机器
的
集群,每个机器
在
指定
的
路径(~/
celery
_node/)中都有一个项目代码。一开始,集群中没有
运行
的
芹菜工作进程。问题#1:我如何在每台机器
上
启动一些芹菜工人,而不是登录到任何一台机器
上
,或者只是登录到一台机器
上
并在其他机器
上
启动芹菜工人?问题#2:如果每台机器已经启动了一些芹菜工作进程,我如何在不远程登录
的
情况下重新启动它们?
浏览 1
提问于2015-09-23
得票数 0
1
回答
芹菜失去工人
我
在
我
的
项目中使用了
celery
4.4.0版本(Ubuntu 18.04.2LTS)。当我引发异常(‘要分类
的
特征中
的
函数太少’)时,
celery
项目丢失了
worker
,我得到了这样
的
日志:文件退出代码行1267,
在
退出
浏览 11
提问于2020-02-13
得票数 3
2
回答
Celery
: AWS ECS
自动
缩放事件(如何不破坏
长时间
运行
的
任务
?)
、
、
、
、
我
在
一个AWS ECS集群中
运行
Python
Celery
(一个分布式
任务
队列库)
worker
(每个EC2实例
运行
1个
Celery
worker
),但是这些
任务
是长期
运行
的
,并且不是幂等
的
。这意味着当发生
自动
扩展扩展事件时,即ECS由于
任务
负载较低而终止
运行
某个
worker
的
一个容器时,
浏览 28
提问于2021-02-10
得票数 3
1
回答
在
签名后处理芹菜中
的
WorkerLostError
、
我遇到过这样
的
情况,我
的
员工因为低质量
的
C/C++依赖而被SIGSEGV杀死。在这些情况下,我需要知道哪些
任务
失败了。有没有一种方法可以对生成
的
WorkerLostError做出反应,并知道是哪个
任务
(例如通过taks_id)导致了
worker
丢失?有没有其他方法来意识到某个
任务
由于SIGSEGV而失败? Thx
浏览 22
提问于2019-02-14
得票数 1
1
回答
如何让芹菜工人消费单一
任务
并退出
、
、
、
如何使
celery
-A app
worker
命令仅使用单个
任务
,然后退出。 我希望将芹菜工人作为kubernetes Job
运行
,该作业
在
处理单个
任务
后完成。我使用KEDA根据队列消息
自动
缩放工作进程。我希望像文档中建议
的
那样,将芹菜工人作为
长时间
运行
任务
的
作业来
运行
:
浏览 13
提问于2021-06-08
得票数 0
1
回答
在
Flask中成功提交后是否执行芹菜
任务
?
、
、
、
相对
长时间
运行
的
任务
被委托给
在
另一台服务器
上
单独
运行
的
celery
工作进程。然而,结果被添加回关系数据库(表根据task_descr.id更新为键,见下文),
worker
使用ignore_result。从Flask应用程序请求
的
任务
: task = app.
celery
.send_task('tasks.mytask', [task_descr
浏览 1
提问于2017-10-14
得票数 1
1
回答
django芹菜-通过django管理
任务
、
、
、
所有的设置都设置好了,如果我手动启动
任务
,它就可以工作了。(全部发生在我
的
本地开发服务器
上
)然后,我尝试
在
admin中设置一些
任务
。我将我
的
任务
设置为每5分钟
运行
一次,以便仅测试一次。 但是5分钟后,什么也没有发生。还需要做些什么才能让这个东西正常工作呢?
浏览 0
提问于2014-10-15
得票数 1
1
回答
Python -从另一个队列
重试
失败
的
芹菜
任务
、
、
有时,由于互联网关闭,数据不会被发布到web服务中,并且
在
发布之前,
任务
会被无限次地
重试
。重新尝试这个
任务
是不必要
的
,因为网络已经关闭,因此它不需要再试一次。我想出了一个更好
的
解决方案(如果一个
任务
三次失败(
重试
3次),那么它就转移到另一个队列。此队列包含所有失败
任务
的
列表。现在,当互联网启动,数据在网络
上
发布(即
任务
已经从正常队列中完成)之后,它就开始处理
任务
队
浏览 3
提问于2014-08-25
得票数 5
1
回答
芹菜多个工作进程,但只有一个队列
、
我使用redis-server启动了我
的
redis服务器。
celery
-A proj
worker
没有其他配置。然而,我意识到当我
在
celery
中有一个
长时间
运行
的
作业时,它不会处理队列中
的
另一个
任务
,直到
长时间
运行
的
任务
完成。我
的
理解
浏览 4
提问于2017-02-24
得票数 7
回答已采纳
1
回答
芹菜用蟒蛇
的
-Ofair
运行
工人
、
、
问题是,在
运行
长
任务
时,芹菜正在将
任务
移动到保留状态,并且
在
长时间
运行
的
任务
完成之前不要执行它们。我使用芹菜如下所示,并发设置为4:ap
浏览 2
提问于2015-12-22
得票数 6
回答已采纳
6
回答
我如何检测我是否
运行
在芹菜工人中?
、
有没有一种方法可以通过编程来确定当前正在导入/
运行
的
模块是
在
celery
worker
的
上下文中完成
的
?我们已经决定在
运行
Celery
worker
之前设置一个环境变量,并在代码中检查这个环境变量,但我想知道是否有更好
的
方法?
浏览 1
提问于2016-08-18
得票数 14
1
回答
芹菜HPA -在
任务
已经
运行
后startupProbe失败
、
、
、
、
我让芹菜工人在AWS EKS
上
的
Kubernetes 1.20集群
上
运行
,使用AWS Elasticache作为代理。由于该项目的性质,80%
的
芹菜工人处于闲置状态,因此合理
的
做法是让他们
自动
进行规模调整。基于CPU/内存
的
缩放工作正常。
在
大约4名工作人员,节点缩放也需要启动,这也是正常
的
。
在
等待新鲜芹菜工人吊舱
的
某个地方,他们开始接受新
的
任务<
浏览 1
提问于2021-11-24
得票数 2
2
回答
Celery
:具有并发和保留
任务
的
Worker
仅
运行
一个
任务
、
、
我
的
代码中
的
一些
任务
的
执行时间越来越长。以下是
worker
选项:下面是该
worker
的
任务
选项卡,其中只有一个正在
运行
的
进程:我发现如果我重启
celery</
浏览 0
提问于2014-07-02
得票数 17
回答已采纳
1
回答
如何将
Celery
设置为在
运行
任务
之前调用自定义初始化函数?
、
、
、
、
我有一个Django项目,我正在尝试使用
Celery
提交
任务
以进行后台处理( )。
Celery
与Django集成得很好,我已经能够提交我
的
自定义
任务
并返回结果。唯一
的
问题是,我找不到
在
守护进程中执行自定义初始化
的
合理方法。
在
开始处理
任务
之前,我需要调用一个加载大量内存
的
昂贵函数,而且我不能每次都调用这个函数。 以前有没有人遇到过这个问题?你有什么办法
在
不修改芹菜源代码
的<
浏览 0
提问于2010-01-25
得票数 22
回答已采纳
2
回答
芹菜工细节
、
我有芹菜
任务
,100输入数据
在
队列中,需要执行使用5名工人。 我们可以把芹菜工人限制和花结合起来。 我没有使用任何框架。
浏览 3
提问于2016-01-12
得票数 3
3
回答
如何在Django完成启动时启动芹菜
任务
、
我正在寻找一种
运行
任务
的
方法,该
任务
预计将在应用程序
的
整个
运行
周期中执行。这是我使用
Celery
worker
的
情况,还是有一些其他选项可以与Django服务器并行启动这种
长时间
运行
的
任务
?另外,我希望能够从
任务
中访问数据库,并使用supervisord监控它,以防它无法重新启动它。
浏览 3
提问于2018-05-08
得票数 1
1
回答
如何让芹菜使用同一个工人
重试
?
、
、
、
我刚开始
在
Django项目中使用芹菜,并且有点纠结于这个特定
的
问题:基本
上
,我需要将一个长期
运行
的
任务
分配给不同
的
工人。
任务
实际
上
被分成几个步骤,每个步骤都需要相当长
的
时间才能完成。因此,如果某个步骤失败,我希望
celery
使用相同
的
worker
重试
此
任务
,以重用已完成步骤
的
结果。我知道
celery</
浏览 2
提问于2012-01-06
得票数 6
回答已采纳
1
回答
如何提高网站
的
响应速度,后台实时绘制图片,使用python-django
、
、
我希望尽可能提高响应速度,并测试了我
的
绘图函数
的
时间,它花费了2.9~3.2秒。任何提高速度
的
技巧,从算法,程序,网站设计… ‘用户点击绘图按钮’和‘
在
浏览器中显示图片’之间
的
时间太长了,使用python和django,我如何减少时间?提前谢谢。
浏览 0
提问于2018-11-19
得票数 0
1
回答
使用事件循环
的
芹菜工作程序
、
、
Celery
worker
是否使用任何事件循环来处理异步I/O和
长时间
运行
的
任务
?它使用
的
线程模型是什么?可以使用Tornado
的
IOLoop吗?编辑: 请注意,它不是的副本,因为问题和唯一
的
答案(到目前为止)都没有提到使用Tornado IOLoop
运行
Celery
worker
。
浏览 0
提问于2016-02-18
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Linux中在已运行的任务运行后结束后自动启动新任务
分布式任务队列 Celery—最佳实践
谷歌公司旗下YouTube:本公司应用程序在(苹果公司的那些)iOS设备上运行良好,没有发生(系统)崩溃。
解决Django应用程序中的内存泄漏问题
如何在Python中实现异步执行?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券