Airflow x Bitbucket (使用Kubernetes Executor)

文章/答案/技术大牛

发布

1回答

git、kubernetes、bitbucket、airflow

我正在尝试使用Kubernetes Executor在单独的pod中处理我创建的dags！credentials and repository for DAGs mounted via Git (mutually exclusive with volume claim)git_branch = master # Use git_

浏览 21提问于2019-08-16得票数 0

回答已采纳

1回答

气流调度程序无法从kubernetes执行器开始

kubernetes、airflow、kubernetes-helm、airflow-scheduler

我使用的是头盔图，使用安装了kubernetes的v1.10.8 puckle/docker-airflow映像，并在舵图中使用该映像，但我一直在使用 File "/usr/local/bin/airflow/airflow/contrib/executors/kubernetes_executor.py"

浏览 4提问于2020-02-08得票数 13

回答已采纳

1回答

如何使用KubernetesPodOperator编写气流DAG来提交Spark作业

apache-spark、kubernetes、airflow

我偶然发现了很多关于如何使用KubernetesPodOperator编写Airflow DAG来提交Spark Job的答案。经过几天的努力，找到了一个不合适的语法，不知何故，我让它工作了。

浏览 20提问于2021-05-21得票数 0

1回答

在的项目之后，我正在尝试集成使用NFS服务器作为后台存储PV的气流kubernetes执行器。我有一个PV airflow-pv，它与NFS服务器链接。气流网络服务器和调度器使用的是与airflow-pvc绑定的PVC airflow-pv。[2019-08-01 14:44:22,944] {base_executor.py:56} INFO - Adding to queue: airflow run kubernetes_sam

浏览 2提问于2019-08-01得票数 2

回答已采纳

3回答

如何在Apache Airflow中混合使用芹菜执行器和Kubernetes执行器？

python、python-3.x、kubernetes、celery、airflow

我有多个dag使用芹菜执行程序，但我想使用Kubernetes Executor运行一个特定的dag。我无法推断出一个好的和可靠的方法来实现这一点。我有一个声明要使用CeleryExecutor的airflow.cfg。我不想改变它，因为除了一个dags之外，所有的dags都需要它。# The executor class that airflow should use.Choices include # SequentialExecutor, Loc

浏览 2提问于2019-05-27得票数 6

1回答

如何在Ubuntu上本地运行的气流2.x上安装Kubernetes执行器--无舵图

linux、airflow、ubuntu-20.04、airflow-2.x

我创建了一个名为airflow-cluster的集群，并创建了pod_template.yaml，并在airflow.cfg中进行了以下更改。[kubernetes]pod_template_file__CORE__EXECUTOR # Hard Coded Airflow</

浏览 4提问于2022-01-21得票数 1

1回答

带postgres的气流"db init“

airflow

特别是，我将这一行添加到文件airflow.cfg中。全部产出：[2021-09-07 12:43:53,827] {db.py:702} INFO - CreatingWARNI [unusual_prefix_xxxxxxxxxxxxxxxxxxxxxxxxx_example_kubernetes_executor_config] Co

浏览 3提问于2021-09-07得票数 1

回答已采纳

2回答

气流无法将日志写入s3 (v1.10.9)

kubernetes、airflow、kubernetes-helm

我试图设置远程日志在气流stable/airflow头盔图表上的v1.10.9，我使用库伯奈茨执行器和puckel/docker-airflow图像。这是我的values.yaml文件。airflow: repository: airflow-docker-local executor: Kubernetes service13T00:00:00+00:00/1.log

浏览 0提问于2020-02-13得票数 1

回答已采纳

1回答

气流调度程序无法连接Kubernetes服务api。

kubernetes、airflow、kubernetes-helm、airflow-scheduler

我正在尝试用Kubernetes执行器设置气流，在调度器容器启动时，它挂起一段时间，然后得到https超时错误，如下所示。消息中的ip地址是正确的，在容器中，我可以运行curl kubernetes:443、curl 10.96.0.1:443或nc -zv 10.96.0.1 443，因此我假设没有防火墙或阻塞访问。我使用的是本地kubernetes以及aws EKS，但是同样的错误，我可以看到ip在不同的集群中的变化。我一直在谷歌寻找解决方案，但没有看到类似的情况。│ File "/usr&#

浏览 5提问于2020-01-22得票数 2

回答已采纳

1回答

Kubernetes执行者:如果任务运行超过5分钟，任务正在接收信号。

python、kubernetes、airflow、bitnami、airflow-scheduler

我在kubernetes集群上部署了气流实例，使用带Kubernetes执行器的bitnami舵机图表。如果我试图执行一个花费超过5分钟的任务，Scheduler会自动终止该任务。is Running [2022-08-05 18:27:38,908] {kubernetes_executor.py:454} INFO - Found 0 queued task instances[2022-08-05 18:28:39,212] {kubernetes_executor</em

浏览 12提问于2022-08-05得票数 0

1回答

气流配置-芹菜执行器/ Kubernetes* Exexutor*

airflow

我在多节点环境中使用Hadoop和Spark。我已经安装了Airflow来自动执行多个spark任务。为了在多个节点上运行这个DAG，在Airflow中是Celery executor还是Kubernetes executor是最好的选择？

浏览 3提问于2019-07-09得票数 0

4回答

Airflow-使用kubernetes executor时找不到dag_id问题

kubernetes、airflow、kubernetesexecutor

我正在使用气流稳定舵图和Kubernetes Executor，新的pod正在为dag调度，但它与dag_id的故障无法找到问题。我正在使用git-sync来获取dags。错误：[2020-07-01 23:18:配置： AIRFLOW__KUBERNETES__DELETE_WORKER_PODS:

浏览 9提问于2020-07-02得票数 6

1回答

由于返回代码Negsignal.SIGKILL退出状态任务，气流任务失败

airflow、airflow-scheduler

default_pool', '-sd', '/usr/local/airflow/dags/anonymization.py'][2021-09-08 18:22:37,742] {kube

浏览 2提问于2021-09-08得票数 0

回答已采纳

1回答

气流不能识别我的S3连接设置

kubernetes、airflow、kubernetes-helm、kubernetesexecutor

我使用的是与Kubernetes执行器一起的气流，并在本地进行测试(使用minikube)，虽然我能够启动并运行它，但我似乎无法将我的日志存储在S3中。:41.521194+00:00/1.log (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fd00688a650tag: 1

浏览 3提问于2020-03-30得票数 3

回答已采纳

1回答

气流KubernetesExecutor /未能采用吊舱

airflow、kubernetesexecutor

我们使用的是气流库伯内特斯执行器，在大多数情况下，它的工作很好。通常情况下，在完成一项任务后，豆荚会被终止并消失，但有时“某些事情”会发生，而这些已完成的豆荚最终会永远停留在周围。

浏览 4提问于2021-07-30得票数 1

1回答

在GKE上部署气流的最佳方式和生产级是什么？

kubernetes、airflow、google-kubernetes-engine

我想在Kubernetes (GKE)上使用Airflow。部署它的最佳方式和生产级是什么？(Kubernetes executor或Celery)我们还希望使用Kubernetes运算符，并将任务作为pod运行。

浏览 5提问于2018-08-07得票数 2

1回答

有多少执行者在kubernetes中部署了airflow

kubernetes、airflow

我在Airflow和kubernetes方面是新手。我已经按照这个指南部署了airflow：https://docs.bitnami.com/tutorials/deploy-apache-airflow-azure-postgresql-redis/我读到过celery executor创建静态工作者，kubernetes executor为每个任务创建一个pod。我不知道的是我的芹菜执行器部署了多少工人，以及如何增

浏览 13提问于2020-09-05得票数 0

回答已采纳

1回答

将自定义volumeMount添加到气流工人吊舱(带有k8s执行器)

kubernetes、airflow、airflow-scheduler

对于dags和日志，可以选择在volumeMount的kubernetes部分下安装airflow.conf。[kubernetes]worker_container_repository = airflow "mountPath": &

浏览 2提问于2019-08-07得票数 3

回答已采纳

1回答

apache airflow中的Kubernetes* Executor :立即删除Pod，但出现错误*

kubernetes、airflow

我正在使用带有KubernetesExecutor的apache airflow。下面是我使用的环境变量1AIRFLOW__CELERY/dagsfalseKuber

浏览 22提问于2019-07-16得票数 2

1回答

使用CeleryExecutor在airflow中访问日志时禁止访问

kubernetes、celery、airflow、azure-aks、airflow-scheduler

我正在尝试使用celery Executor在kubernetes ( Azure Kubernetes Service)上部署Airflow。/2021-08-23T14:46:18.953030+00:00/1.log *** Fetching from: http://airflow-worker-0.airflow-worker.airflow.svc.cluster.localmyrepo.azurec

浏览 76提问于2021-08-24得票数 1

回答已采纳

点击加载更多