首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >气流-在同一个数据集中使用TaskGroup和PythonBranchOperator

气流-在同一个数据集中使用TaskGroup和PythonBranchOperator
EN

Stack Overflow用户
提问于 2021-05-27 10:38:00
回答 1查看 4.1K关注 0票数 7

我目前正在使用气流任务流API 2.0。我有一个合并使用TaskGroup和BranchPythonOperator的问题。

下面是我的代码:

代码语言:javascript
运行
复制
import airflow
from airflow.models import DAG
from airflow.decorators import task, dag
from airflow.operators.dummy_operator import DummyOperator
from airflow.operators.python_operator import BranchPythonOperator, PythonOperator
from airflow.operators.python import task, get_current_context
from random import randint
from airflow.utils.task_group import TaskGroup


default_args = {
    'owner': 'Airflow',
    'start_date': airflow.utils.dates.days_ago(2),
}

@task
def dummy_task():
    return {}


@task
def task_b():
    return {}

@task
def task_c():
    return {}

def final_step():
    return {}

def get_tasks(**kwargs):
    task = 'task_a'

    return task


with DAG(dag_id='branch_dag', 
    default_args=default_args, 
    schedule_interval=None) as dag:

    with TaskGroup('task_a') as task_a:
        obj = dummy_task()

    tasks = BranchPythonOperator(
        task_id='check_api',
        python_callable=get_tasks,
        provide_context=True
    )

    final_step = PythonOperator(
        task_id='final_step',
        python_callable=final_step,
        trigger_rule='one_success'
    )

    b = task_b()
    c = task_c()

    tasks >> task_a >> final_step
    tasks >> b >> final_step
    tasks >> c >> final_step

当我触发这个DAG时,我在check_api任务中得到以下错误:

airflow.exceptions.TaskNotFound:任务task_a未找到

是否有可能将TaskGroup与BranchPythonOperator结合使用?

谢谢,

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-05-27 11:04:21

BranchPythonOperator将返回task_ids

您需要将get_tasks函数更改为:

代码语言:javascript
运行
复制
def get_tasks(**kwargs):
    task = 'task_a.dummy_task'
    return task

票数 9
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/67720424

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档