不必要的重复运行doit任务流水线

文章/答案/技术大牛

发布

1回答

python、doit

我正在使用doit自动化我的数据分析管道，如中所述。不幸的是，doit总是希望从step1重新运行整个流水线，尽管后续步骤的file_deps已经满足。我如何找出是什么导致doit重新运行整个流水线？例如，错误配置的依赖项，dodo.py中的更改？

浏览 6提问于2017-03-15得票数 0

回答已采纳

1回答

并行运行时等待依赖项

doit

当使用-n选项运行doit时，任务似乎不等待其他子任务创建file_dep。下面是一个简单的代码，它试图显示这个问题： def task_pexample(): "name":"test1", "actions": ["-s pexample运行时没有任何问题。然而，当运行doit -n 2 -s pexample时，它会立即

浏览 18提问于2020-03-30得票数 0

回答已采纳

1回答

doit正在运行dodo.py中的每个函数。我能改变它吗？

python、python-2.7、doit

我正在尝试自动化一个流程，我遇到了"doit“的问题，因为它正在运行dodo.py中的所有函数，而我不希望它这样做。我正在使用"doit“特性在Python 2.7上工作。下面是dodo.py文件中的一部分代码。问题是，当我尝试运行"doit list“( doit的一个基本函数)时，它也会从我的函数中打印出这两条消息。我试着设置DOIT_CONFI

浏览 0提问于2019-03-28得票数 0

2回答

想要服务器端加密由S3创建的ShellCommandActivity数据节点文件。

amazon-web-services、amazon-s3、amazon-data-pipeline

我创建了一个带有ShellCommandActivity = "true“的stage。Shell命令创建一个新文件并将其存储在${OUTPUT1_STAGING_DIR}中。根据文档，在s3数据节点中创建的所有文件默认是服务器端加密的。但是，在我的管道完成后，将在s3中创建一个未加密的文件。以下是管道的相关部分： "id": "DataNodeId_Fdcnk", &q

浏览 2提问于2015-03-20得票数 0

回答已采纳

1回答

在VSTS中如何在发布流水线后运行流水线？

azure-devops、azure-pipelines

我有一个任务，我想在我的任何发布管道完成后运行它。发布管道需要完全完成它们的运行和结束。然后，这个最终的流水线应该运行，并从构建和发布流水线传递工件。有没有一种方法可以在发布管道完成后运行任务或管道？我需要在发布管道完成后运行这个任务，因为我编写的任务需要从DevOps REST API请求信息，在发布管道完成之前，它不会返回

浏览 1提问于2018-11-12得票数 2

1回答

在Luigi管道中释放` `resource`

python、pipeline、luigi

我有一个Luigi管道，它由我批量运行的任务图组成。其中一些任务依赖于昂贵的资源(例如，亚马逊网络服务EC2机器集群或其他昂贵的资源)。我试图以一种智能的方式使用这个resource，以便在运行任务之前对其执行acquire操作，并在所有任务完成后立即对其执行release操作。一般来说，代价高昂的资源是在流水线的开始分配的，而依赖图的<

浏览 2提问于2017-03-09得票数 2

2回答

CancellationTokenSource会突然取消吗？

c#、.net、multithreading、asynchronous、task-parallel-library

假设我有这样的东西：{ var task = Task.Factory.StartNew(() => DoIt(myToken.Token), myToken.Token); } { string s = &q

浏览 0提问于2012-03-13得票数 0

回答已采纳

1回答

Azure Pipeline仅推送具有新版本的NuGet包

azure-devops、nuget、version、azure-pipelines、nuget-package

我有一个包含多个DLL的存储库，这些DLL创建单独的NuGet包。我想使用Azure DevOps管道在主分支通过NuGet打包和推送任务更改时自动发布这些包。我不想更改不会更改的Dlls/NuGet包的程序集版本。由于重复的版本，运行我的流水线会导致异常。在阅读了微软的文档页面后，我尝试添加publishPackageMetadata=true，但构建仍然失败。

浏览 23提问于2020-06-13得票数 1

回答已采纳

1回答

Python doit模块:如何选择运行任务操作的shell？

doit

我使用python doit模块作为GNU make的替代品。看起来doit正在/bin/sh上运行操作： pedro@Gen83-ubuntu:~$ echo $SHELLpedro@Gen83-ubuntu:~$ doit merge_phased

浏览 19提问于2021-08-27得票数 0

1回答

在已产生的管道中设置队列名称

python、google-app-engine、appengine-pipeline

我想调整任务队列名称，流水线任务在其上运行。myPipeline = SumPipeline(future1, future2)但是，如果我没有手动启动管道，但它是由另一个管道生成的，RootPipeline(pipeline.Pipeline): yield SumPipeline(future1, future2) 对于产生的<e

浏览 1提问于2015-08-06得票数 1

2回答

当有多个线程时，跳出循环的最佳方法是什么？

java、multithreading、thread-safety、semaphore

循环位于线程的run()方法中，每次将有大约20个线程运行。在不调用线程中断的情况下，如何使播放从true更改为false的运行结束？在播放更改时，我确实需要将循环的内容直接运行到行中，所以只使用同步之类的内容是行不通的。也许会的，我只是不知道。

浏览 4提问于2013-12-12得票数 1

回答已采纳

1回答

Ant的扩展点if/unless属性有什么用？

ant

当您在一个Ant构建文件中定义一个扩展点时，您可以使用if或unless属性将其设置为有条件的。在目标上，如果/除非阻止其任务运行。但是一个扩展点没有任何有条件运行的任务，那么这个条件有什么作用呢？我的想法(在Ant 1.8.0中被证明是错误的)是它将阻止任何扩展扩展点的任务运行。, doit, main] Complete build sequence is [exte

浏览 2提问于2010-03-17得票数 6

回答已采纳

2回答

Google App Engine Pipelines何时创建任务

google-app-engine、task-queue、urlfetch

当涉及到像这样启动Pipeline时，背后的细节是什么(只是Pipeline API演示代码中的一行复制粘贴示例)：yield是否只会将一(1)个任务排入任务队列，或者管道会根据正在完成的任务“自己”对每个管道使用不同数量的任务进行内部处理？问题的上下文:从头开始解决作业，使用任务

浏览 3提问于2014-03-12得票数 1

1回答

将项目传递给sbt动态任务

sbt

我有一个包含代码生成的sbt项目。 build.sbt的一部分是 lazy val generator = (project in file("generator")).cachedFun(dependenctFiles).toSeq genFiles }.taskValue 这似乎是有效的，是否有一个完全不同的结构可以让我知道运行generator是否会产生不同的结果？

浏览 27提问于2019-06-06得票数 1

回答已采纳

1回答

用于获取要在Azure DevOps管道中执行的所有任务的API

azure-devops

有没有一种方法可以获得在构建管道中运行的所有任务的顺序。当我们构建一个管道装饰器时，我们想知道是否有一种方法可以检查管道是否有特定的任务。我们尝试使用timeline api，但它只显示已经执行或正在执行的所有作业和任务。当我们开始执行流水线装饰器时，我们希望得到所有要在流水线中执行的任务。

浏览 18提问于2020-07-03得票数 0

2回答

弹簧、背景执行或按需执行

java、multithreading、spring

有时，我想称同样的方法为“按需”。它将由GUI上的操作触发。因为我想要执行的方法需要几秒钟，所以我不想在执行完成之前阻止用户GUI。此外，我想协调“随需应变”执行与后台线程(相互排斥)。这里有一个方法：该任务<

浏览 2提问于2011-01-24得票数 2

1回答

从任务中设置azure devops管道版本控制标记

git、azure-devops、azure-pipelines、versioning、azure-pipelines-build-task

版本标签是从azure devops流水线任务中的文件中解析出来的，但是需要在代理流水线的末尾使用，以设置版本控制标签。我似乎无法将变量设置为具有足够的作用域来用于后期运行标记。如何在代理范围内可用作版本控制标记的任务中设置变量？

浏览 20提问于2020-05-08得票数 1

1回答

流水线数据通路

architecture、mips、pipeline、computer-architecture、cpu-architecture

在MIPS体系结构中使用流水线数据路径意味着什么？我读过的所有例子包括洗衣服和等待某些任务完成，然后再转到其他任务中去，这是相当容易理解的。我希望对流水线数据路径如何帮助MIPS架构更快地运行和如何停止工作进行更深入的技术解释。

浏览 3提问于2014-11-16得票数 0

回答已采纳

2回答

可以将Azure DevOps YAML管道集成到发布管道中吗？

azure、azure-devops、cypress、azure-pipelines-release-pipeline

我已经定义了一个管道来运行我的Cypress测试，这对于通过CRON任务运行自动化测试，或者当我们想通过手动执行来运行它时，工作得很好：- cron: "0 6 * * *"publishRunAttachments: true continueOnError: true 然而，我们有一个用例，当一个新的发布生成时，我们想要对一个新的发布管道

浏览 0提问于2020-09-21得票数 1

1回答

假设我在Simulink中有一个很大的模型，我们称它为模型A，现在考虑模型A的一个很小的子集，称之为模型B。当B模型计算某件事情时，这些结果被发送到模型A的其他部分，它们作为模型A的函数做某些事情。然而，模型B可能需要很长的时间来计算--然而，这对于模型A的其他块来说并不是一个问题，只要模型B完成计算，它们就很乐意从模型B接收数据。本质上，我希望模型B与模型A并行运行，这样在等待模型B完成其任务时，整个模拟/流程不会停止。在

浏览 0提问于2016-06-15得票数 1

点击加载更多