1回答
我使用的气流1.9.0与自定义SFTPOperator。我在我的DAG中有代码，用来轮询SFTP站点来查找新的文件。如果找到任何文件，则为动态创建的任务创建自定义任务id，并检索/删除文件。看起来，气流all服务器和气流调度器每秒钟迭代一次所有的DAG，并实际运行检索directory_list的代码。这意味着我正在访问SFTP站点~2x每秒来验证和提取文件列表。我希望有一些只有在DAG实
浏览 0提问于2018-08-03得票数 2
回答已采纳
1回答
我试图将动态工作流引入到我的领域中，这涉及到不同模型推断的多个步骤，其中一个模型的输出被输入到另一个model.Currently中，很少有芹菜工作人员分散在主机上来管理推理链。随着复杂性的增加，我们正在尝试动态地构建工作流。为此，我得到了一个动态DAG设置和塞勒伊执行器工作。现在，有什么办法我可以保留目前的芹菜设置和路线气流驱动的任务给相同的工
浏览 5提问于2021-05-27得票数 1
回答已采纳
1回答
我有一个ETL管道，它由以下任务组成：
我把整个剧本转换成气流数据集。我的问题是假设，一个百万文件的规模，我想特别是在步骤-3使用我的整个集群芹菜工人处理文件并行。
浏览 2提问于2019-04-24得票数 4
回答已采纳
1回答
我们希望使用Apache气流来调度Scrapy Python蜘蛛和一些其他脚本。我们会有成千上万的蜘蛛，它们的日程安排会随着时间的变化而变化，所以我们希望能够每天创建一个气流达格，并且每天都安排它们一次，从一个数据库中自动安排它们。我看到的关于气流的唯一例子是使用python脚本来编写DAG文件。编辑:我设法找到了一个应该可以工作的解决方案，使用YAML文件
浏览 0提问于2019-04-13得票数 2
回答已采纳
1回答
假设我有一个包含三个任务t1，t2，t3的气流DAG。DAG的流将是t1>>t2>>t3。我想找到一种动态改变启动任务的方法。如果我在运行时给出t1，那么应该从t1触发DAG。如果我提供t2，那么应该跳过t1，并且应该从t2开始执行DAG。有没有办法在气流中做到这一点？
浏览 4提问于2021-05-20得票数 1
下面是我想要实现的预期流和依赖项设置：create_table_list >> [print_table_names]然而，我在上述实施中面临以
浏览 0提问于2020-10-30得票数 0
AirFlow与基于流的编程工具(如Node)的区别是什么？如果它不是FBP工具，那么与FBP相比，它的优缺点是什么？注:我注意到气流图是DAG吗？这是否是一个限制(关于FBP工具的可能是什么?)
谢谢！
浏览 0提问于2018-09-28得票数 0
我如何配置气流(mwaa)，使它将在同一时间(早上6点PST)，每天考虑何时部署？
start_date = previous_five_am
似乎每当我通过将start_date设置为前一天早上5时进行部署时，无论我何时部署进程或执行气流更新，它都会在接下来的6点启动。
浏览 2提问于2021-02-20得票数 3
如果任务1成功，我希望执行任务2，如果任务1失败，我希望运行任务3，如果需要，我希望分配另一个流程。
基本上，我想在没有ssh操作符的气流中运行有条件的任务。
浏览 0提问于2018-04-18得票数 4
回答已采纳
我有大约一百万的气流任务，使用相同的python功能。每个运行都需要有不同的开始日期和参数。问题
如何在气流上以可伸缩的方式运行一百万(或任何数量)或任务，其中每个任务来自同一个python函数，但有不同的开始日期和不同
浏览 0提问于2019-03-25得票数 1
回答已采纳
1回答
我正在评估我目前从芹菜执行器到Kubernetes (K8s)执行器的气流部署，以利用资源的动态分配和由荚提供的任务的隔离。显然，我们可以使用本机KubernetesPodOperator通过K8s执行程序在K8s集群上运行任务。但是，我无法找到有关K8s执行器与其他操作符(例如bash和雅典娜)之间的兼容性的信息。，这是一个问题，是否可以在K8
浏览 1提问于2020-11-18得票数 2
回答已采纳
我们有一个气流python脚本，它读取配置文件，然后动态生成>100个DAG。当在Airflow 2.4.1中运行脚本时，从任务运行日志中，我们注意到气流试图为每个任务运行解析python脚本。是否有任何方法使气流从DBs中反序列化DAG？
浏览 7提问于2022-11-22得票数 0
1回答
我想做一个这样的气流图： │ │ └──► task_2_N ─────► task_3_Nfrom airflow import DAG
from airflow
浏览 10提问于2022-09-09得票数 3
1回答
我目前正在开发一个DAG，它在一个DAG定义中为不同的数据集执行相同的任务。需要从某些配置访问数据集及其架构的列表。我对在哪里存储配置有自己的想法，但我不知道如何读取配置，而不是根据这种信任的结果对任务进行迭代。我的代码当前如下所示：
# Configuration read logic will be implemented here, working with Variable during test phase
浏览 8提问于2022-08-08得票数 0
当多个“KubernetesPodOperator”任务定义在一个气流DAG中时，所有任务都并行执行。如何在没有依赖项的情况下依次执行任务？
浏览 5提问于2022-11-08得票数 0
回答已采纳
1回答
我正在编写气流代码，其中我运行一个python操作符来读取来自cli的用户输入，并希望在顶层python代码中使用该操作符返回的结果来生成动态任务。使用Xcom，我们可以执行任务间的通信，但是如何在任务和主代码之间进行通信。
浏览 10提问于2021-12-30得票数 0
2回答
我们发现气流是工作流管理器的好选择，Kubernetes是集群管理器的好选择。因此，流动将是，
Kubernetes应该通过在集群的可用EC2工作节点上运行docker容器来执行任务。在搜索过程中，我们发现，气流有与ECS、Mesos集成的操作符，但对于Ku
浏览 0提问于2018-01-24得票数 12
回答已采纳
我习惯于使用Argo，它具有并行执行过程步骤的功能，基于以前步骤的输入(例如，请参阅)。
我找不到关于如何在气流(2.0+)中</e
浏览 5提问于2021-06-21得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
