还原丢失的任务Redis python

文章/答案/技术大牛

发布

1回答

python、redis、python-rq

我在想如何在服务器关闭的情况下确保存储在Redis队列中的所有任务的完成，例如，我最初的想法是创建一个作业描述实例并将其保存到数据库中。因此，在Flask/Django/FastApi应用程序启动时，我会搜索未启动/未完成的作业。我的问题是-有没有我在这里描述的最佳实践，或者有更好的方法来恢复失去的工作，而不是保存到数据库的工作描述？

浏览 10提问于2021-07-05得票数 1

回答已采纳

1回答

Redis -使用集群避免数据丢失(使用绯闻协议)

kubernetes、mariadb、hazelcast、airflow-scheduler、redis-cluster

在将任务分配给气流工作者的过程中，气流调度将有关任务的数据发送给MariaDb (可以认为是真理的来源)和Redis。在MariaDB中，任务可以有一个状态'queued'，'running'，'success'，'failed‘。当任务处于Redis状态时，它将处于'queued‘状态。当Redis将特定队列任务切换到

浏览 1提问于2018-08-29得票数 1

回答已采纳

1回答

在使用django celery在redis上连接丢失时，只执行部分任务

django、python-3.x、redis、celery、django-celery

我有一个django芹菜任务，只执行了一部分。我启动该进程，并接收到执行的任务： 2018-02-17 23:28:00,214: ERROR/ForkPo

浏览 2提问于2018-02-18得票数 1

1回答

Django芹菜任务信息保存在哪里？

django、save、task、celery

我想知道芹菜任务的信息在哪里。得救了。我检查了数据库中的表，没有找到相关的项目。当我关闭本地服务器并在稍后重新启动它时，芹菜知道队列中的任务。解决方案:任务信息由代理保存，在我的例子中是redis。Redis将在运行dump.rdb(取决于redis-config文件)的目录中创建一个文件“manage.py”。下面的链接可以引用到转储和还原不同服务器之间<em

浏览 1提问于2018-07-26得票数 0

回答已采纳

1回答

任务队列和缓存可以使用同一个Redis实例吗？

caching、redis

我在stackoverflow上读过一些类似问题的回复，虽然看起来共享一个实例用于两个目的是很好的，但我想知道潜在的缺点。我主要关心的是缓存填满了内存，减慢或破坏了任务队列。这个是可能的吗？

浏览 2提问于2020-09-23得票数 0

2回答

在使用Redis时，在芹菜中进行可靠的任务处理需要什么？

python、redis、celery

我们希望在kubenetes集群中运行Celery/Redis，目前还没有启用Redis持久性(一切都在内存中)。我关心的是: Redis重启(丢失内存中的数据)、worker重启/中断(由于崩溃和/或pod调度)，以及短暂的网络问题。在Redis中使用Celery进行任务处理时，需要做些什么来确保任务的可靠性？

浏览 34提问于2019-07-11得票数 0

5回答

如何在Django中使用redis？

python、django、redis

我听说过redis-cache，但它到底是如何工作的呢？它是不是作为django和我的rdbms之间的一个层，通过某种方式缓存rdbms查询？或者它应该被直接用作数据库？

浏览 7提问于2010-09-27得票数 103

回答已采纳

1回答

Celery Task在工作进程关闭时丢失

python、django、celery、django-celery、celery-task

我使用的是celery=4.0.0，当一个任务运行较长时间，而工作人员在这段时间内关机时，我会丢失所有这些任务。如何重新启动所有丢失的任务。提前谢谢。芹菜= 4.0.0 redis = 2.10.5

浏览 1提问于2018-07-19得票数 0

1回答

使用Ecs Ec2将Python应用程序与redis连接起来

python、amazon-web-services、docker、amazon-ec2、amazon-ecs

我应该记住链接容器的步骤以及我应该使用什么网络模式。假设我想在localhost上公开容器:5000。我已经把我的码头图像推到ECR了。我想知道应该分别对python和redis做什么端口映射。Dockerfile python：ADD ./codeRUN pip install -r requirements.txtDockerfile re

浏览 5提问于2020-07-24得票数 0

回答已采纳

1回答

使用django、芹菜和redis异步抓取和存储我的结果并存储我的结果的正确方法是什么？

python、django、queue、rabbitmq、django-celery

当我尝试使用我在django应用程序中创建的函数时，我一直在试图理解我的问题是什么。该功能转到一个网站，收集数据并将其存储在我的数据库中。起初，我尝试使用rq和redis一段时间，但我一直收到错误消息。所以有人认为我应该试着用芹菜，我就试了。但我现在明白了rq和芹菜才是问题所在。因为我得到了和以前一样的错误信息。我厌倦了导入它，但仍然得到了错误消息，然后我想，如果我在tasks.py文件中有实际的函数，它会产生不同的效果，但它没有。这和我用rq和redis</e

浏览 1提问于2016-08-13得票数 4

回答已采纳

1回答

MongoDB -文档创建30分钟后更新

node.js、mongodb、parse-server

我想要的是，让每个帖子自动更新两次，30分钟后创建，2小时后。议程能否为此目的和规模发挥作用？你还有什么推荐的吗？

浏览 1提问于2019-07-05得票数 1

1回答

如何找出芹菜设置中缺少的内容？

django、redis、celery

对于我们的Django网站之一，我们需要运行芹菜。= "redis"CELERY_REDIS_PORT = 6379Redis运行正常：PONG$ nohup python manag

浏览 2提问于2015-02-10得票数 0

2回答

NuGet安装程序上的VSTS构建失败

azure-pipelines、nuget-package-restore

无法通过此构建失败： ******************************************************************************帮助： C:\Windows\system32\chcp.com 65001活动代码页: 65001错误:没有找到与搜索模式匹配的文件: D:\a\1\s***.sln包安装

浏览 6提问于2017-02-28得票数 0

5回答

基于Redis的可伸缩延迟任务执行

redis、scheduled-tasks、scalability

我需要设计一个Redis驱动的可伸缩任务调度系统。倾听列表中即将出现的</

浏览 7提问于2012-06-03得票数 23

1回答

如何在celery中生成每个用户的队列？

django、redis、rabbitmq、celery

我为此做了一个芹菜设置，发现它不能满足我的用例，即每个用户都有自己的任务的私有队列。我尝试指定在worker派生期间创建丢失的队列(发送队列名称，用逗号分隔)，并将它们列在队列设置中，就像之前在internet上回答“用芹菜动态创建队列”时所说的那样。我发现python-rq使用其名称对queue对象进行了初始化，我认为这会创建新的队列。如果是这样的话，转向RQ会正确吗？redis_conn = Redis<

浏览 30提问于2019-04-16得票数 1

回答已采纳

1回答

未修饰的窗口将丢失本机事件

gtk、gtk#

我用gtk#用制作了一个无边框、无边框的窗口。这意味着添加我自己的拖动逻辑和事件来最小化和关闭窗口，很好。然而，在Windows (至少)中，窗口会丢失其原始的最小化/还原/关闭动画，并且我无法像通常那样通过单击任务栏来最小化窗口。有没有办法在gtk中有一个未装饰的窗口，同时仍然获得原生的最小化/还原动画，或者至少能够从任务栏中最小化它？

浏览 1提问于2015-03-14得票数 1

2回答

芹菜工人迷路

python、celery、django-celery、celery-task、celeryd

我们的部署进程在进程列表中的所有celery进程上使用kill重新启动celery。有时我会在芹菜原木上看到“工人迷失”。如果发生这种情况时任务正在运行，该任务是会重新运行还是会丢失？我们使用的是redis。

浏览 2提问于2013-04-03得票数 2

3回答

如何将Sidekiq (Redis)队列移动到另一台服务器？

ruby-on-rails、ruby、redis、queue、sidekiq

我们还使用Sidetiq来管理计划中的和经常性的任务。将整个计划任务队列转移到使用新项目路径和手动操作的首选方法不是这种情况。Ruby 2.1.6 Redis<

浏览 5提问于2015-08-12得票数 0

回答已采纳

1回答

将Huey设置为通过Flask使用Redis

python、redis、python-huey

我正在尝试使用Huey作为跨平台任务队列。我找到了，我克隆了它并设置了一个使用conda的虚拟环境。(我正在windows上工作)遵循我尝试过的自述文件：当我打开时我可以点击send按钮，然后我会看到屏幕截图。但是，尽管在REDIS中创建了一个列表，但没有存储任何任务：1) "huey.redis." 127.0.0.1:6379&g

浏览 12提问于2018-08-05得票数 0

回答已采纳

1回答

芹菜后端连接如何添加重试？

python、redis、celery

我使用的是celery 5.0.1，并使用CELERY_BACKEND_URL作为redis://:password@redisinstance1:6379/0。它工作得很好，但当有一个Redis实例松散连接时，它会中断任务并返回错误。，它工作得很好，在很短的一段时间内，连接出现了一些故障。我是否可以设置当celery尝试将结果更新到Redis时，如果它返回错误，它将在2-5秒后重试？我知道如何在任务中设置重试，但这不会导致任务<

浏览 15提问于2020-10-20得票数 1

回答已采纳

点击加载更多