我设计了一个定制的SubDagOperator。一切正常，除了“放大Sub Dag”按钮没有出现。似乎如果airflow UI不能将任务识别为子操作符本身，按钮就不会显示。你知道有没有可能看到带有自定义SubDagOperators的按钮？Airflow版本: 1.10.12class EmrSubdagOperator(SubDagOperator): template_ext(
&#
浏览 10提问于2021-02-18得票数 2
我们正在升级到气流2.0，我有以下任务： cms_ingest = SubDagOperator( task_id='cms_s3ingestLocalExecutor(),
task_c
浏览 1提问于2021-05-05得票数 1
回答已采纳
我在气流中有一个SubDAG，它的运行步长很长(通常大约2个小时，尽管它根据运行的单元不同而有所不同)。在1.7.1.3下，此步骤将始终导致，并且当所有步骤都成功时，SubDAG将处于“运行”状态。我们可以通过手动标记数据库中的SubDAG成功(而不是运行)来解决这个问题，因为我们在SubDagOperator之后没有步骤。我们现在正在测试气流1.8.1，通过以下操作进行升级：
通过pip，卸载气流和安装apache-气流</em
浏览 2提问于2017-05-31得票数 7
如下所示：get_monthly_summary-214和get_monthly_summary-215是两个SubDags，它可以在并行控制器中由父dag并发运行但是，当放大SubDag时说当我们检查SubDag并发性时，它实际上是我们在代码中指定的8：
我们设置了池槽大小，它是32，我们有8个芹菜工人来接排队的任务，与并发相关的气流配置如下所示：parallelism = 32
# The number of task
浏览 2提问于2019-05-09得票数 12
我在气流2 SubdagOperator文档中看到，使用mode = reschedule，我们可以摆脱潜在的死锁。据我所知，这不是一个可以与其他参数列表一起传递的参数。如果有人使用过它，请让我知道如何将它合并到SubdagOperator中。
浏览 7提问于2021-12-29得票数 0
回答已采纳
我一直在尝试在气流中使用“example_subdag_operator”。在我将“start_date”更改为“datetime.now()”之后，然后手动触发一个dag运行。操作符是绿色的，但是当我放大到子程序本身时，没有执行任何操作(在图形视图中是白色的)，“Run”下拉列表是空的。\from airflow.operators.subdag_operator import SubDagOpe
浏览 11提问于2017-02-06得票数 0
1回答
我有以下DAG，它工作得很好：from airflow.models import Variablefrom subdags import my_subdag
subdag = Sub
浏览 7提问于2022-02-09得票数 0
回答已采纳
我在Airflow .but中创建了多个DAG，我想通过一些公共模块或DAG .Can来触发它们，我们创建了一个像Azkaban这样的工作流程，以便在该流程中列出所有调用的DAgs。
浏览 1提问于2019-03-18得票数 0
1回答
需要上下文节流的建筑气流DAG
、、、、
，我有一组作业单元(工作者)，我想作为DAG运行它，DAGGroup1有10个工作人员，每个工作人员从一个DB中提取多个表。它仍然使用来自enforcedGroup1的相同线程池，因此并发限制是completeStep2，一旦step1和step2的所有元素都是step1，则step1没有任何并发度量--
如何在Spring应用程序的气流中实现这样的层次结构是否可以使用气流构造来设计这种DAG，并动态地告诉Java应用程序一次可以提取多少表。
浏览 3提问于2020-05-25得票数 6
我想用几个通过SubDagOperator调用的子DAG创建一个父DAG。task_1 = SubDagOperator( subdag=child_dag_name,
dag=pare
浏览 8提问于2020-05-10得票数 0
1回答
停止气流回填运行
、、
DAG每分钟都在运行。但是，当气流下降一段时间左右时，我们会看到大量回填作业正在运行，这会停止最近的DAG运行。 task_id='process_flatten_sequences', default_a
浏览 14提问于2021-06-12得票数 0
我已经查看了气流subDAG部分，并试图在网上找到任何可能有帮助的东西，但是我没有找到任何详细解释如何使subDAG工作的东西。运行subDAG的要求之一是应该启用它。如何启用/禁用subdag？我编写了一些示例代码，这些代码在气流中不显示任何错误，但是当我尝试运行它时，subDAG中的任何一个操作符都不会被执行。import datetime, timedeltafrom linecoun
浏览 0提问于2016-07-11得票数 24
我对气流很陌生，我试着运行一个引用风流v1.10.14中的自定义操作符(my_operators.py)的守护程序。问题：I在气流UI中得到以下错误：Dag文件内容：from airflo
浏览 3提问于2022-06-11得票数 1
回答已采纳
我是使用气流1.9.0与LocalExecutor。def create_subdag(name_suffix, default_args): subdag=create_subdag('subdag1', default_ar
浏览 0提问于2018-07-18得票数 0
1回答
步骤(今日为2020年1月7日)from datetime import datetimefrom airflow.operators.bash_operatorimport BashOperator
dag = DAG(dag_id='example_dag', start_date=datetime(2020, 1, 1), catchup=F
浏览 3提问于2020-01-07得票数 0
回答已采纳
假设我有两个预先存在的DAG，A和B。在气流中是否可以将所有任务从B“复制”到A中，保留依赖关系并传播所有B任务的默认参数等等？最终目标是拥有一个新的DAG A‘，它包含A和B的所有任务。我理解，协调DAG级别的因素(例如日程安排)和跨复制传播可能是不可能的，但是否有可能至少保留任务的依赖顺序，以便每个任务在预期时按预期运行--只是在不同的DAG中运行？如果不支持它，那么支持这种“本机DAG组合”的工作是否正在进行中？
浏览 0提问于2019-08-15得票数 0
我想了解Google云平台上的气流是如何从dags主文件夹到UI的变化的。此外，请帮助我的达格安装脚本。我和书一起读了这么多答案。图书链接是
我从这本书中了解到，调度程序经常从dags主文件夹中获取更改。Dags在UI上也是可见的，并且运行良好
浏览 0提问于2020-08-23得票数 3
回答已采纳
我正在以与PythonOperator非常相似的方式将一些运行时DAG /config传递给。def print_x(x):
"print_x", schedule_interval=None, params={
浏览 9提问于2022-06-15得票数 0
1回答
我已经配置了气流，并创建了一些Dags和subDags呼叫几个运营商。PARENT_DAG_NAME, CHILD_DAG_NAME, default_args, STEPDAG(
dag_id='%s.=dag_su
浏览 4提问于2016-06-26得票数 4
云服务器
ICP备案
实时音视频
即时通信 IM
云直播
腾讯云开发者
