在Apache Airflow中如何在加载到BigQuery之前转换数据？

from airflow.models import BaseOperator
from airflow.utils.decorators import apply_defaults

class DataTransformerOperator(BaseOperator):
    @apply_defaults
    def __init__(self, *args, **kwargs):
        super(DataTransformerOperator, self).__init__(*args, **kwargs)

    def execute(self, context):
        # 在这里编写数据转换逻辑
        transformed_data = self.transform_data(context['ti'].xcom_pull(task_ids='previous_task'))
        
        # 将转换后的数据存储到XCom中，以便后续任务使用
        context['ti'].xcom_push(key='transformed_data', value=transformed_data)

    def transform_data(self, raw_data):
        # 编写数据转换逻辑，将原始数据转换为适合加载到BigQuery的格式
        transformed_data = ...
        return transformed_data

# 创建一个DAG
from airflow import DAG
from datetime import datetime

default_args = {
    'start_date': datetime(2022, 1, 1),
    'retries': 3,
    'retry_delay': timedelta(minutes=5),
}

dag = DAG('data_transformation_dag', default_args=default_args, schedule_interval='@daily')

# 创建任务
transform_task = DataTransformerOperator(task_id='data_transformation_task', dag=dag)

# 设置任务之间的依赖关系
previous_task >> transform_task >> load_to_bigquery_task