我正在考虑在Cloud Run For Anthos上使用Cloud composer,以利用k8s的自动缩放和kubernetes executor,以及Cloud composer的混合/多云。这是一条可行的路径吗?如果是这样的话,会有关于这个设置的指南吗?或者有没有更简单更好的方法在GKE上设置气流?
发布于 2021-07-04 18:38:10
Cloud Composer使用托管的GKE实例,由Google团队为您管理。它有内置的可伸缩性等(下周BTW https://airflowsummit.org/sessions/2021/autoscaling-airflow/峰会上会有关于它的讨论)
但它只使用Celery Executor,您不能将其更改为KubernetesExecutor
https://stackoverflow.com/questions/68241488
复制相似问题