1回答
我意识到我可能需要使用动态需求来完成以下任务，但是我还不能理解这在实践中会是什么样子。 其目标是使用Luigi生成数据并将其添加到数据库中，而无需提前知道将生成什么数据。以mongodb为例： import luigifrom luigi.contrib import mongodb
# Makeup IDs, though in practice the IDs may be generated from
浏览 16提问于2019-02-15得票数 0
回答已采纳
1回答
我很难理解如何在Luigi中实现可重用的任务，然后在具体的情况下使用它们。class GffFilter(luigi.Task):
"Filters a GFF file to only one feature"在第一个任务中，我没有run方法，我只是使用依赖关系来使用泛型任务。这是正确的吗？我应该在这里使用继承吗？然后在第二个任务中，我不能使用</em
浏览 3提问于2017-09-28得票数 0
dic = { 'a': ['pippo', 'giacomo', 'giacomo', 'francesco', 'luigi', 'francesco', 'luigi'] }数据文件是 pippo giacomo luigi luigi
浏览 1提问于2017-04-15得票数 3
回答已采纳
我正在使用Luigi进行依赖解析，它工作得很好。让我解释一下。假设我当前的任务下载并处理一系列日期的数据。假设在那之后，我想运行一个遍历所有数据并输出一个简单摘要的脚本。不是每个日期一个摘要，而是所有已下载数据的一个摘要。我应该如何组织这个用例的任务，或者这不是Luigi的工作？
浏览 0提问于2019-01-31得票数 1
2回答
'), time.strftime('%m'), time.strftime('%d'), time.strftime('%H'), name, the_time)1)新的csv文件出现在“S3://my-bucket/Mass/.”中根据爬行完成的时间使用唯一的密钥名。路易吉看到这个就开始了。以下是我的问题：
1)我不清楚如何从Scrapy进口蜘蛛。我有十几个，目标是
浏览 4提问于2017-04-25得票数 1
在Luigi中，我有一个任务，在该任务中，我希望根据来自另一个上游任务的输出动态生成依赖项列表。def requires(self):总之，我正在根据来自TaskA的输出在我尝试过一些东西，但是看起来Luigi很困惑，因为TaskB确实需要在TaskC返回其依赖项列表之前运行。但是很明显，在调用TaskC.requires()之前，Luigi不能运行任何东
浏览 1提问于2019-10-30得票数 1
回答已采纳
我有一个测试管道与一个任务一起运行一组luigi任务。我的问题是: luigi任务中的失败不会上升到汇合工作中。luigi-tasks.py def requires(self):echo $?有趣的是，当我在本地计算机(luigi --m
浏览 18提问于2022-01-10得票数 0
回答已采纳
1回答
我试图理解luigi是如何工作的，我理解了这个想法，但是实际的实现要困难一些;)这就是我所拥有的：def output(self):
return luigi.LocalTarget(
浏览 0提问于2016-09-14得票数 7
回答已采纳
6回答
目前，我有许多luigi任务一起排队，其中有一个简单的依赖链( a -> b -> c -> d)。首先执行d，最后执行a。a是被触发的任务。除a之外，所有目标都返回一个luigi.LocalTarget()对象，并有一个泛型luigi.Parameter()，它是一个字符串(包含日期和时间)。在luigi中央服务器上运行(该服务器已启用历史记录)。问题是，当我重新运行该任务a时，luigi检查历史记录，查看该特定任务以前是否运行过，如果它的状态为“已完成”，它就不会运
浏览 11提问于2016-01-05得票数 15
回答已采纳
我正在运行一个EMR星系团(使用纱线)，我正在运行Luigi任务直接从EMR主。我的工作链依赖于S3中的数据，在几个SparkSubmitTasks之后，最终将在Redshift中结束。import luigifrom luigi.contrib.spark import SparkSubmitTask
from luigi.contrib.redshift= luigi.Parameter(default='user
浏览 2提问于2015-12-10得票数 0
回答已采纳
考虑一个任务通过动态依赖关系依赖于另一个任务的情况： import luigi
class TaskAExecution Summary ===== (在本例中，任务失败是因为TaskB没有将其输出写入TaskA可以读取的文件。我现在的问题是:除了使用luigi.build()接口，我如何做完全相同的事情？我想这样做的原因有两个:第一个原因是不应该使用</e
浏览 25提问于2020-11-15得票数 1
myString = jMario = [MyObj(0, 'foo1'), MyObj(0, 'foo2'), MyObj(0, 'foo3')]然后尝试从MyObj中删除与Luigi中的字符串不匹配的任何Luigi。for coin in Mario:
浏览 2提问于2022-01-07得票数 -2
2回答
我在试着和luigi建立一个管道。首先从API获取数据，然后将其转换并保存到mongo db。我对luigi还很陌生，我的问题是如何实现output()函数来指定mongo db的输出。如何为后续任务创建require()函数？from luigi.contrib.mongodb import MongoTarget
def
浏览 16提问于2018-01-11得票数 4
2回答
我开始使用Luigi了。我已经构建了一个执行多个任务的管道，并且我非常小心地确保这些任务正常工作。所以管道运转良好。我怎么能和Luigi一起这么做？
浏览 1提问于2020-10-29得票数 0
1回答
我是Luigi的新手，正在尝试在我的流程中有一个条件分支。分支任务将评估一个条件，并根据结果跳过它的一些子项。为了测试这一点，我只有一个虚拟任务，它检查当前小时，如果流在早上执行，则返回True，否则返回False。该任务有两个子任务，一个在控制台中打印'Morning‘，另一个在控制台中打印’下午‘。在做了一些研究之后，我不知道Luigi是否有能力做这样的事情。只有在其输出还不存在的情况下才会执行任务。我当时的想法是创建任务的输出文件以跳过，以防止它执行，但它不起作用。
浏览 8提问于2021-06-08得票数 1
1回答
我想定义一个Luigi任务，它将在AWS的Postgres数据库中创建一个表。我尝试过不同的导入，例如：from luigi.contrib.postgres import CopyToTableimport luigi.contrib.postgresimport luigi.postgres ( i thing thisis d
浏览 2提问于2017-05-15得票数 1
当使用Luigi循环文件时，我不会强制保存空文件，只是为了显示任务已完成，并让下一个任务检查txt中是否有行，等等。
在不输出文件的情况下，如何才能让任务显示它成功(即run方法按预期工作)？
浏览 0提问于2018-05-11得票数 6
我正在编写一个流水线，在这个流水线中，后续任务需要读取早期任务的输出，这样它们就可以知道需要在请求中传递哪些参数。import pickle
number = luigi.Int
浏览 1提问于2017-06-05得票数 3
2回答
我已经创建了一个PLSQL过程，它使用一个简单的查询从多个表中获取数据，然后将输出发送到游标，然后将结果输出为xml，然后输出为下面的excel
为了更好地解释，我有以下几点：
values(10002,'MANSANI, Luigi',to_date('01.12.2008','dd.mm.yyyy'),, Luigi&
浏览 0提问于2018-03-13得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
