我想知道是否有可能在Airflow上设置KubernetesExecutor,但在EC2上运行and服务器和调度程序?这意味着任务将在Kubernetes pod(在我的例子中是EKS)上运行,但基本服务在常规EC2上运行。我试图找到关于这个问题的信息,但失败了…… 以下引用自Airflow的docs,这就是我问这个问题的原因 KubernetesExecutor runs as a process in the <
我有一个使用AWS EKS的kubernetes应用程序。详细信息如下:节点组:+实例类型:T3。Maximum+2(最小值)-2(最大值)-2(所需)配置服务+配置类型: ClusterIP + metadata.name: k8s-eks api- ServiceBelow are the values (NO ADDRESS)
Host:
我在Kubernetes中运行Airflow,一个pod,2个容器- webserver和调度程序。配置中的KubernetesExecutor
但由于组织设置的原因,具有默认服务帐户的计划程序无法工作,角色不足。: User \"system:serviceaccount:<account_name>:default\" cannot list resource \"pods\"
我正在使用airflow with composer (GCP)从云sql for gcs中提取数据,在gcs for bigquery之后,我有一些介于100 Mb和10 Gb之间的表。我的dag有两个任务要做我之前提到的。对于较小的表,dag运行得很顺利,但是对于稍微大一些的表,云sql提取任务会在几秒钟内结束,但会失败,但除了"negsignal.sigkill“之外不会带来任何日志,我已经尝试增加编写器的容量,但都还没有起作用我使用了