我正在使用:https://github.com/helm/charts/tree/master/stable/airflow将airflow部署到Kubernetes中 我正在尝试通过修改values.yml来连接外部PostgreSQL数据库: externalDatabase:
## the type of external database: {mysql,postgres}
##
type: postgres
## the host of the external database
##
host: <HOST>
## the port
我正在使用气流稳定舵图和Kubernetes Executor,新的pod正在为dag调度,但它与dag_id的故障无法找到问题。我正在使用git-sync来获取dags。下面是错误和kubernetes配置值。有人能帮我解决这个问题吗?
错误:
[2020-07-01 23:18:36,939] {__init__.py:51} INFO - Using executor LocalExecutor
[2020-07-01 23:18:36,940] {dagbag.py:396} INFO - Filling up the DagBag from /opt/airflow/dags/dag
在的项目之后,我正在尝试集成使用NFS服务器作为后台存储PV的气流kubernetes执行器。我有一个PV airflow-pv,它与NFS服务器链接。气流网络服务器和调度器使用的是与airflow-pvc绑定的PVC airflow-pv。我已经将我的守护文件放置在NFS服务器/var/nfs/airflow/development/<dags/logs>中。我也可以在webserver中看到新添加的DAGS。但是,当我从UI执行DAG时,调度程序会为该任务触发一个新的POD,但是新的工作荚无法运行
Unable to mount volumes for pod "tut
我在蔚蓝的库伯奈特斯部署了阿帕奇气流。
apache气流的Helm存储库:
AKS版本: 1.16.13
一旦我部署了气流,我就用这个程序测试了它:
from airflow import DAG
from datetime import datetime, timedelta
from airflow.contrib.operators.kubernetes_pod_operator import KubernetesPodOperator
from airflow.operators.dummy_operator import DummyOperator
default_args =
我使用的是头盔图,使用安装了kubernetes的v1.10.8 puckle/docker-airflow映像,并在舵图中使用该映像,但我一直在使用
File "/usr/local/bin/airflow", line 37, in <module>
args.func(args)
File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb
db.initdb(settings.RBAC)
File
我尝试了气流教程DAG,它与调度器一起工作,我可以看到由计划运行生成的日志。但是,如果我使用命令行测试,我没有看到输出:
airflow test my_tutorial_2 templated 2018-09-08
[2018-09-10 15:41:43,121] {__init__.py:51} INFO - Using executor SequentialExecutor
[2018-09-10 15:41:43,281] {models.py:258} INFO - Filling up the DagBag from /Users/xiang/Documents/BigData/
我在kubernetes集群上部署了气流实例,使用带Kubernetes执行器的bitnami舵机图表。如果我试图执行一个花费超过5分钟的任务,Scheduler会自动终止该任务。
我已经试过了,但没有用。
调度程序日志:
[2022-08-05 18:27:20,117] {kubernetes_executor.py:147} INFO - Event: process1800.404b6cc740064e90955e28dd736f899e had an event of type MODIFIED
[2022-08-05 18:27:20,118] {kubernetes_execut
如何在Kubernetes中获得服务的完整FQDN? ➜ k get svc -o wide
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
airflow-flower-service ClusterIP 172.20.119.107 <none> 5555/TCP 20d app
我想知道是否有可能在Airflow上设置KubernetesExecutor,但在EC2上运行and服务器和调度程序? 这意味着任务将在Kubernetes pod(在我的例子中是EKS)上运行,但基本服务在常规EC2上运行。 我试图找到关于这个问题的信息,但失败了…… 以下引用自Airflow的docs,这就是我问这个问题的原因 KubernetesExecutor runs as a process in the Airflow Scheduler. The scheduler itself does not necessarily need to be running on Kuber
我有一个正在运行的MiniKube,我通过docker-compose这样部署Airflow: ---
version: '3'
x-airflow-common:
&airflow-common
# In order to add custom dependencies or upgrade provider packages you can use your extended image.
# Comment the image line, place your Dockerfile in the directory where you placed
在气流中,我使用KubernetesExecutor作为执行器。我的DAG代码
from datetime import datetime, timedelta
from airflow import DAG
from airflow.providers.cncf.kubernetes.operators.spark_kubernetes import SparkKubernetesOperator
from airflow.providers.cncf.kubernetes.sensors.spark_kubernetes import SparkKubernetesSensor
dag
我试图在气流中使用kubernetes吊舱操作符,我想在我的气流工人上与kubernetes吊舱共享一个目录,有没有办法将气流工人的目录安装到kubernetes吊舱?
我尝试了下面的代码,而volumn似乎没有成功地挂载。
import datetime
import unittest
from unittest import TestCase
from airflow.operators.kubernetes_pod_operator import KubernetesPodOperator
from airflow.kubernetes.volume import Volume
from
我正在尝试使用Kubernetes Executor在单独的pod中处理我创建的dags!
我们有一个步骤是同步git来访问dags,首先我在airflow.cfg中放了以下参数,但在这些条件下我不能处理简单的python操作符(它不会创建pod)。有没有人能做到这一点?git sync的设置是否正确?
Airflow.cfg:
# For either git sync or volume mounted DAGs, the worker will look in this subpath for DAGs
dags_volume_subpath =
# For DAGs mounted