我有下面的“主”DAG。我想根据底部的下游部分调用关联的DAG。 然而，发生的情况是，第一个DAG被调用了四次，而其他三个DAG运行了一微秒(不足以实际执行)，所有东西都返回绿色。我如何在下游部分的方向上表现？', dag=dag
浏览 25提问于2020-01-01得票数 0
回答已采纳
我正在尝试加载以下气流DAG (没有时间表) conn = get_conn() # connection is calling API with login credentialsop1 = PythonOperator( )
...当我打开气流调度程序时，DAG不会加载DAG导入错误：
在调用</em
浏览 5提问于2022-10-17得票数 0
回答已采纳
我们正在新旧气流之间进行迁移，我们试图实现从Airflow1到Airflow2的触发器(反之亦然)，这有可能吗？
浏览 3提问于2022-02-07得票数 0
回答已采纳
1回答
我使用的气流1.9.0与自定义SFTPOperator。我在我的DAG中有代码，用来轮询SFTP站点来查找新的文件。如果找到任何文件，则为动态创建的任务创建自定义任务id，并检索/删除文件。看起来，气流all服务器和气流调度器每秒钟迭代一次所有的DAG，并实际运行检索directory_list的代码。这意味着我正在访问SFTP站点~2x每秒来验证和提取文件列表。我希望有一些只有在
浏览 0提问于2018-08-03得票数 2
回答已采纳
这是我用来触发python脚本的脚本。monthly_run', dag=dag)
我给出了两个在py脚本中使用的args。因为我对不同的args使用相同的脚本。但是，气流用户界面显示了有关args的
浏览 3提问于2022-07-20得票数 2
回答已采纳
我有这些Dags DAG_A (每天运行)、DAG_B (运行mon)和DAG_C (运行在sat和sun上)，其中DAG_A依赖于DAG_B和DAG_C。
浏览 2提问于2020-05-29得票数 3
1回答
在运行每个操作符时，似乎会重新定义这个变量？下面是一个最小的可重复的例子。我预计test和test2都会打印相同的时间戳，但它们在气流中打印不同的时间戳(间隔几秒钟)。import datetimefrom airflow.operators.python_operator import PythonOperatorstrftime("%Y%m%d_%H%M%S")
浏览 6提问于2022-05-24得票数 0
1回答
我确实需要知道如何使用气流使多个DAG相互调用(例如DAG_1 >> DAG_2)，类似于它如何使用上游/下游操作符来运行DAG中的任务。我需要知道如何设置这样的气流将运行DAG_1，然后将运行DAG_2一旦DAG_1成功完成。最好是让DAG_1和DAG_2放在气
浏览 0提问于2019-09-23得票数 2
回答已采纳
2回答
如何运行指定次数的气流dag？但是，需要维护当前的计数和状态。使用上面的方法，我能够重复DAG 'run‘。
需要专家的意见，有没有其他深刻的方法来运行气流DAG X次？谢谢。
浏览 7提问于2018-12-14得票数 3
1回答
我有一个DAG，它是通过查询DynamoDB中的一个列表和列表中的每个项来创建的，这个任务是使用一个PythonOperator创建的，并将它添加到DAG中。dag = DAG(dag_id='my_dag', ...)for task in tasks: )
问题
浏览 3提问于2017-07-15得票数 2
回答已采纳
我如何配置气流(mwaa)，使它将在同一时间(早上6点PST)，每天考虑何时部署？
start_date = previous_five_am
似乎每当我通过将start_date设置为前一天早上5时进行部署时，无论我何时部署进程或执行气流更新，它都会在接下来的6点启动。
浏览 2提问于2021-02-20得票数 3
1回答
我使用的气流2.2.2，并有一个dag，这是计划运行每10分钟，并暂停。我正在尝试使用气流客户端手动调用它。Dag没有被取消暂停，dagrun也在排队，声明。在创建dag运行时，是否可以在不调用其他API调用的情况下使用气流客户端来取消dag。api_instance = dag_run_api.DAGRunApi(api_cl
浏览 6提问于2022-05-16得票数 1
1回答
我想知道在气流，气流 DAG (有向无环图)中实现动态操作符目标的方法是好的还是坏的。根据API调用的结果，在DAG中创建“x”运算符的数量。例如，这个DAG每周运行一次。我所做的程序起作用了，但我不知道这是否是开发气流DAG的一个好的实践。因此，我的
浏览 0提问于2019-05-24得票数 5
回答已采纳
1回答
我正在评估气流是否适合我的需要(在生物信息学中)。我对气流模型有些困难。具体地说：
下面是我想要执行的一个例子。假设我刚收到一些数据作为一个目录，其中包含一些共享文件系统中的20个文件。我
浏览 4提问于2017-05-26得票数 1
我有一个Apache气流管理环境，其中定义并启用了许多DAG。一些DAG是按15分钟的计划运行的，而另一些则没有计划。所有的DAG都是单任务DAG。0级DAG使用ECSOperator调用预定义的弹性容器服务( ECS )任务，调用定义在ECS任务中的Docker容器中的Python脚本。2级DAG在第1级DAG</em
浏览 6提问于2021-10-12得票数 0
回答已采纳
我有两个像这样定义的DAG catchup=False, schedule_interval='0 12,13,15,19 * * THU,FRI'my_dag= DAG('my_dag
浏览 3提问于2021-04-20得票数 0
回答已采纳
需要帮助来提取所有任务的列表，以及当前状态成功/失败的当前进程运行。我有一个带有python操作符的任务，它在工作流的末尾执行。此任务的职责是返回与状态一起执行的任务的no。
浏览 10提问于2022-06-22得票数 0
回答已采纳
我在我的sql_test.py中写了一些错误，并运行了python sql_test.py，错误是‘没有模块名为xxx'，而在web中，它显示了一个红色错误的DAG。然后我运行airflow list_dags，同样的错误再次发生，.This很奇怪，我不知道发生了什么。我试图运行airflow delete_dags sql_test，但是没有这样的id。我如何才能：
把sql_test<e
浏览 1提问于2019-07-26得票数 1
回答已采纳
请不要否决我的答案。如果需要，我将更新和纠正我的话。我做了我的家庭工作研究。我并不是新来的，所以试着去理解这一点。我试着从第69页找出我的答案。
3.11调度&触发气流调度器监视所有任务和所有DAG，并触发满足依
浏览 0提问于2020-08-23得票数 3
回答已采纳
Python项目正在运行多个py脚本。是否可能不是从DAG调用其他python脚本，而是从单个python脚本调用其他python脚本，即通过气流中的PythonOperator或BashOperator调用DAG中提到的部分脚本。例如，我想使用test.py调用其他python脚本task_id='multiplescript
浏览 12提问于2022-06-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
