我正在使用Cloud Composer环境在GCP项目中运行工作流。我的一个工作流使用DataprocClusterCreateOperator在不同的项目中创建了一个Dataproc集群,然后尝试使用来自airflow.contrib.operators.dataproc_operator例如,我希望能够传递一个project_id,但当任务运行时,我最终得到了一个404错误: from airflow.contrib.operators.dataproc_operator impor
并将这些函数实现为PythonOperator定义的任务。I使用气流版本1.8.0:import os
import airflow.models as这里的应用程序是使用函数get_id_creds从SQL表中提取ID列表,然后在每个ID的基础上生成详细的数据配置文件。这两个函数都在内部使用MySqlHook,并且我已经在独立的基础上测试了每个函数/任务</em