嗨,我有一个带有Foreach循环的管道,其中我有一个Dataflow任务,它在我设置的集成运行时上运行,有10分钟的生存时间。当我使用三个文件触发管道时(即Foreach中的Dataflow任务将执行三次),我看到每个数据流执行的集群启动时间几乎相同(4-6分钟)。我认为使用10分钟TTL的IR将大大减少集群的启动时间(至少在第二次或第三次执行时),但看起来并非如此。不确定是否缺少管道或IR上的设置/配置,或者这是否是预期行为。任何洞察力都将不胜感激。
发布于 2021-04-03 00:27:45
在ADF中使用ForEach w/Dataflow活动时,如果您希望利用缩短的集群启动时间,则必须将ForEach设置为按顺序执行迭代。即使你在Azure IR上设置了ForEach,允许TTL并行执行也会在每次迭代中启动新的集群。
发布于 2021-04-10 07:00:04
我找到了解决方案。Microsoft在集成运行时创建过程中添加了一个复选框...
https://stackoverflow.com/questions/66919107
复制相似问题