GCP Composer (Airflow)操作符
GCP Composer (Airflow)操作符
提问于 2018-12-12 21:52:12
我正在使用GCP Composer API (Airflow)和我的DAG来扩展工作人员的数量，并不断向我返回以下错误：
Broken DAG: [/home/airflow/gcs/dags/cluster_scale_workers.py] 'module' object has no attribute 'DataProcClusterScaleOperator' 似乎与ScaleOperator有关，但是当我查看Airflow Read the Docs并与我的代码交叉检查时，似乎没有什么问题。我遗漏了什么？
是否与GCP气流版本有关？
代码：
import datetime
import os
from airflow import models
from airflow.contrib.operators import dataproc_operator
from airflow.utils import trigger_rule
yesterday = datetime.datetime.combine(
datetime.datetime.today() - datetime.timedelta(1),
datetime.datetime.min.time())
default_dag_args = {
'start_date': yesterday,
'email_on_failure': False,
'email_on_retry': False,
'retries': 1,
'retry_delay': datetime.timedelta(minutes=5),
'project_id': models.Variable.get('gcp_project'),
'cluster_name': 'hive-cluster'
}
with models.DAG(
'scale_workers',
schedule_interval=datetime.timedelta(days=1),
default_args=default_dag_args) as dag:
scale_to_6_workers = dataproc_operator.DataprocClusterScaleOperator(
task_id='scale_dataproc_cluster_6',
cluster_name='hive-cluster',
num_workers=6,
num_preemptible_workers=3,
dag=dag
)回答 1
Stack Overflow用户
回答已采纳
发布于 2018-12-13 17:34:51
我设法找到了问题并解决了它。上面Ashish Kumar提供的评论是正确的。
问题是我使用的Airflow版本(1.9.0)不支持DataProcClusterScaleOperator。我通过激活BETA并选择版本1.10.0创建了另一个实例。
解决了我的问题。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/53744563
复制相关文章
相似问题