luigi每任务重试策略

文章/答案/技术大牛

发布

1回答

python、luigi

我在配置luigi每任务重试策略时遇到问题。我已经按如下方式配置了全局luigi.cfg文件：retry-delay: 1keep_alive: true此外，它在luigi配置手册中指出，编写任务如下：只需覆盖lui

浏览 15提问于2016-09-20得票数 2

1回答

如何正确配置Luigi任务重试？

python、luigi

我正在尝试配置Luigi的重试机制，以便将失败的任务重试几次。但是，在成功重新尝试任务时，Luigi未成功退出：* 2 ran successfully(我已经安装了pip 2.3.3版本)，以便当一个任务失败一次，然后成功地重新尝试，那么Luigi将成功地退出，而不是使用This progress lo

浏览 2提问于2016-10-24得票数 6

回答已采纳

2回答

Python多处理超时

python、multiprocessing

我不需要从子进程中获取任何数据，如果上传失败，我也不需要重试。但是我不想做.join(time)，因为主进程必须停止等待。

浏览 5提问于2016-01-13得票数 2

回答已采纳

1回答

Python满意时继续执行外部任务

python、luigi

我正在处理一个Luigi管道，该管道检查手动创建的文件是否存在，如果存在，则继续执行下一个任务： task_namespace='MyTask' def output(self): return luigi.LocalTarget='MyTa

浏览 2提问于2016-06-23得票数 5

1回答

Luigi -如何处理失败的工作流

python、luigi

我刚刚开始熟悉Luigi，所以如果这是一个显而易见的问题，我很抱歉，但我很难从文档中理解它。如果我运行具有三个任务的工作流，并且第二个任务失败，我如何手动重新运行从第二个任务开始的流水线？据我所知，您只能配置自动重试。如果所有自动重试都失败了，该怎么办？你仅仅需要启动一个全新的工作流程吗？

浏览 2提问于2018-04-19得票数 1

2回答

使动态Luigi任务的失败成为非关键任务

luigi

我有一个luigi工作流程，它通过ftp下载一堆大文件，并将它们存放在s3上。我有一个任务，它读取要下载的文件列表，然后创建一系列实际执行下载的任务这是因为动态创建的任务成为创建它们的主任务的需求，并根据它们的输出编译一个列表。有没有一种方法可以使这些下载任务的失败变得无关紧要，以便将

浏览 2提问于2018-01-08得票数 0

回答已采纳

2回答

Luigi工作流:具有“软”依赖关系的任务？

luigi

我正在使用Luigi进行依赖解析，它工作得很好。让我解释一下。假设我当前的任务下载并处理一系列日期的数据。我应该如何组织这个用例的任务，或者这不是Luigi的工作？

浏览 0提问于2019-01-31得票数 1

1回答

我能用luigi和Python芹菜吗？

python、celery、luigi

芹菜执行父任务，然后执行更多的任务。这会有什么问题吗?我需要根据队列大小自动调整芹菜工人的规模。这会影响到多台机器上的任何luigi员工吗？

浏览 1提问于2016-05-05得票数 3

回答已采纳

1回答

让任何Luigi任务失败的最好方法是将消息发布到slack？我知道任务有一个可重写的on_failure方法，但有没有办法指定一个全局策略而不是每个任务？我目前的方法是，我有一个覆盖on_failure方法的SlackOnFailureMixin (粘贴在下面)，但我必须手动将其混合到我想要在其中具有此功能的每个luigi.Task中，如果我忘记了，则不会发布失败class MyTask(SlackOnFailureMixin, luigi.Task): Du

浏览 16提问于2020-03-10得票数 1

1回答

重试用于.complete()的WrapperTask

python、luigi

我使用Luigi来运行几个任务，然后我需要将输出大容量地传输到一个标准化的文件位置。为此，我编写了一个带有重写的WrapperTask方法的complete()： date = luigi.DateParameter() def requires(self):这是处理这类

浏览 3提问于2016-06-22得票数 0

回答已采纳

1回答

Luigi要每天运行pandas脚本吗？

python-3.x、pandas、luigi

在进一步的研究中，我偶然发现了一个名为luigi的库，如果我需要扩展，它似乎可以更有力地完成同样的任务。 date_interval = luigi.DateInterva

浏览 0提问于2016-05-17得票数 2

2回答

如何在Spring批中重试tasklet？

spring-batch

如何重试方法调用器任务，我知道如果块任务失败，就有重试选项，还有设置退避策略的选项，但是，在方法调用任务xsd中，我找不到retry选项。在失败的情况下，是否还有其他选择可以重试任务。

浏览 0提问于2013-09-18得票数 5

回答已采纳

1回答

AWS SNS传递重试策略总策略重试时间不能超过3600秒

amazon-web-services、amazon-sns

我正在尝试AWS SNS交付重试策略，让它每1小时重试10小时。我试着在1500

浏览 5提问于2022-04-22得票数 1

1回答

如何重试顶点管道步骤

google-cloud-vertex-ai

在许多情况下，我希望允许顶点管道任务在失败时自动重试。无论如何，我可以为任务设置重试策略吗？

浏览 5提问于2022-10-05得票数 0

1回答

我们能限制luigi任务的吞吐量吗？

python、spotify、luigi

我们有一个Luigi任务，要求从第三方服务的信息。对于该API调用，我们可以每分钟执行的调用请求的数量受到限制。是否有一种方法可以在每个任务的基础上指定这种类型的任务必须在每单位时间内运行多少任务？

浏览 6提问于2016-12-16得票数 3

回答已采纳

1回答

具有多输入的luigi任务体系结构

python-3.x、parallel-processing、luigi

我需要所有的数据，并产生一个CSV文件每字，其中将有一行的日期。例如，例如文件some_word.txt2005-01-02,0.00034我很难用luigi框架来组织这个过程。我当前的顶级任务需要一个单词，查找每个日期的相关频率，并将结果存储在CSV文件中。我想我可以循环遍历我的主文件中的每个单词，然后用这个单词运行任务，但是我估计这需要几个月的时间，如果不是更长的话。下面是简化版的顶级AggregateTokenFreqs任务。

浏览 4提问于2016-11-28得票数 2

1回答

使用celery Http回调任务重试

python、django、celery

我查看了celery中的http回调任务- 。当远程端点可用时，它们工作得足够好-但当它不可用时，我希望它重试(根据重试策略)-或者即使远程端点返回失败。目前，这似乎是一个错误，该任务被忽略。

浏览 0提问于2011-07-04得票数 0

2回答

如何在GCP Cloud Scheduler中每10秒运行一次

google-cloud-platform、cron

Cloud Scheduler Frequency字段每10秒运行一次，正确的语法是什么？

浏览 39提问于2020-10-05得票数 1

回答已采纳

3回答

根据错误消息重试StepFunction任务

amazon-web-services、aws-step-functions

根据亚马逊网络服务的StepFunction文档，可以配置每个错误的重试，但我想知道是否可以使用错误消息中的详细信息来定义重试策略？在我的例子中，我触发了Glue ETL job，它可能会失败，并返回自定义异常NoDataLoadedException，所以我希望能够识别它，并且不会重试。下面是我的任务定义(第一个Retry块永远不会发生)： "ExecuteEtl": { "Reso

浏览 33提问于2019-02-09得票数 1

1回答

用于Python脚本的Crontab每5分钟

python、cron

我有一个Python脚本，我想每5分钟启动一次，不管用户是谁启动它。我的想法是生成一个可以从存储库下载并供任何人使用的代码，所以我不想在crontab中指定任何用户，因为我不知道它的名称是什么。我有一个Luigi管道，它进行调试；如果所有的需求都满足了，它就会执行它的功能，如果它们不满足，它就什么也不做。我希望每隔5分钟运行一次管道，以检查条件是否发生了变化。--local-scheduler --module tasks Main" my_cron.add_minutely(command, 5) 我希望每5分钟运行一次

浏览 19提问于2019-06-19得票数 1

回答已采纳

点击加载更多