同一任务多次执行
同一任务多次执行
提问于 2014-02-05 11:57:00
我有ETA任务，被发送到一个芹菜的Redis经纪人。这是一个单独的芹菜和redis实例，两者都在同一台机器上。
问题是，任务被多次执行。我已经看到任务被执行了4到11次。
我将可见性超时设置为12小时，因为我的ETA在4-11小时之间(在运行时确定)：
BROKER_TRANSPORT_OPTIONS = {'visibility_timeout': 12 * 60 * 60}即使这样，任务仍然会被多次执行。
最初，有问题的任务不是幂等的，所以我尝试添加一个DB检查，使它们成为幂等的。
它看起来像这样：
@app.task
def foo(side_effect_action):
if side_effect_action.executed:
return ALREADY_EXECUTED
else:
do_side_effect()
side_effect_action.executed = True
side_effect_action.save() #hits the db
return JUST_EXECUTED原来，芹菜工作者在foo能够调用side_effect_action.save()并保存状态之前就到达了任务，所以在所有情况下，当它查找side_effect_action.executed时，它仍然是假的，因此被多次执行。
有什么办法可以解决这个问题吗？
回答 1
Stack Overflow用户
发布于 2014-02-06 13:57:26
为了避免这个问题，我把我的芹菜代理换成了RabbitMQ。这很不幸，因为我现在的webapp中多了一个组件(我仍然需要redis来做其他事情)，但它确实解决了ETA任务的多重执行错误。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/21568354
复制相关文章
相似问题
腾讯云开发者
