Airflow DataprocClusterCreateOperator
Airflow DataprocClusterCreateOperator
提问于 2018-08-30 14:15:18
在Airflow DataprocClusterCreateOperator设置中：
我们是否可以将主磁盘和辅助磁盘的主磁盘类型设置为pd-ssd
默认设置为standard。
我正在看文档--我没有找到任何参数。
回答 2
Stack Overflow用户
发布于 2018-08-30 16:56:33
遗憾的是，在DataprocClusterCreateOperator中没有更改磁盘类型的选项。
在Google API中，如果您将一个参数传递给https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.clusters#diskconfig，就可以使用它
我将尝试添加此功能，并且应该在Airflow 1.10.1或Airflow 2.0中可用。
目前，您可以创建修改当前DataprocClusterCreateOperator的Airflow插件。
Stack Overflow用户
发布于 2018-08-30 15:54:20
在这方面似乎有两个领域：
master_machine_type: Compute engine machine type to use for the master node
worker_machine_type: Compute engine machine type to use for the worker nodes我在这里简单地查看了源代码就发现了这一点(这是最新的，但没有提供版本，所以我假设是最新的版本)：
https://airflow.readthedocs.io/en/latest/_modules/airflow/contrib/operators/dataproc_operator.html
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/52090315
复制相关文章
相似问题
腾讯云开发者
