我尝试配置Airbnb AirFlow来使用CeleryExecutor,如下所示:
我将airflow.cfg中的executer从SequentialExecutor更改为CeleryExecutor
# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor
executor = CeleryExecutor
但我得到以下错误:
airflow.configuration.AirflowConfigException: e
我正尝试在本地计算机上从LocalExecutor切换到CeleryExecutor。我应该使用pip install airflow[celery]安装必要的库。我还安装并运行了redis。
但是,当我尝试运行airflow worker时,我得到以下错误:
DEFAULT_EXECUTOR = CeleryExecutor()
NameError: CeleryExecutor' is not defined
我将broker url和celery_result_backend都设置为redis://localhost:6379,并在后台运行redis。我做错了什么?
在我从Helm stable/airflow代码库安装的Kubernetes上运行airflow命令时遇到困难。例如,我尝试执行调度器pod并运行airflow list,结果得到以下错误: airflow.exceptions.AirflowConfigException: error: cannot use sqlite with the KubernetesExecutor airlow 好的,我切换到芹菜执行器。 同样的事情 airflow.exceptions.AirflowConfigException: error: cannot use sqlite with the Cel
我希望添加另一个DAG到现有的Airflow服务器。服务器当前正在使用LocalExecutor,但我可能希望我的DAG使用CeleryExecutor。配置文件airflow.cfg似乎只允许一个执行器:
# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor
executor = LocalExecutor
是否可以配置Airflow,以便现有的DAG可以继续使用LocalExecutor,而我的新DAG可以使用Cele
我跟着达格在气流中奔跑,
当执行以上dag时,它将串行运行以下顺序之一。
A -> B -> C1 -> C2 -> D1 -> D2
A -> B -> C2 -> C1 -> D2 -> D1
但我的要求是同时并行运行C1和C2任务。我airflow.cfg的一部分
# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor
executor = Cele
在apache气流配置中,我试图将顺序执行器更改为芹菜执行器,并在坞-组合文件中使用环境变量:
version: '3'
x-airflow-common:
&airflow-common
# In order to add custom dependencies or upgrade provider packages you can use your extended image.
# Comment the image line, place your Dockerfile in the directory where you placed the d
我有多个dag使用芹菜执行程序,但我想使用Kubernetes Executor运行一个特定的dag。我无法推断出一个好的和可靠的方法来实现这一点。
我有一个声明要使用CeleryExecutor的airflow.cfg。我不想改变它,因为除了一个dags之外,所有的dags都需要它。
# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor
executor = CeleryExecutor
我的dag代码:
from da
我将airflow添加到一个web应用程序中,该应用程序手动将包含业务逻辑的目录添加到PYTHON_PATH环境变量中,并执行额外的系统级设置,以便在集群中的所有服务器上保持一致。一段时间以来,我已经成功地使用RMQ作为代理和redis作为任务结果后端为该应用程序运行了celery,并且具有使用LocalExecutor运行Airflow的经验。
我没有使用普克尔的镜像,而是使用了一个基本backend镜像的入口点,该镜像基于SERVICE环境变量运行不同的服务。它看起来像这样:
if [ $SERVICE == "api" ]; then
# upgrade to t
我试图在corp OpenShift集群上部署Apache气流,但遇到了以下问题:
Traceback (most recent call last):
File "/home/airflow/.local/bin/airflow", line 5, in <module>
from airflow.__main__ import main
ModuleNotFoundError: No module named 'airflow'
我在中发现了类似的问题。这个问题似乎与UID\GID有关。但在中说:
气流图像是开放移位兼容,这意味
我还是被cloudera保安困住了。我遵循所有步骤并配置安全性,包括安装Kerberos。最后,我使用kadmin在Kerberos中创建了hdfs用户。我可以做kinit和验证有票。我的集群运行在Cloudera快速启动VM中。
然后我发出hdfs dfs -ls /命令,并给出了错误
16/07/12 02:18:50 WARN ipc.Client: Exception encountered while connecting to the server : javax.security.sasl.SaslException: GSS initiate failed [Caused by
我喜欢从composer中重新运行或运行DAG,下面的命令是我所使用的,但是也有一些类似的例外。
kubeconfig entry generated for europe-west1-leo-stage-bi-db7ea92f-gke.
Executing within the following Kubernetes cluster namespace: composer-1-7-7-airflow-1-10-1-db7ea92f
command terminated with exit code 2
[2020-07-14 12:44:34,472] {settings.py:176}
我使用这个舵图来部署气流。
Apache气流版本:2.0.0
Kubernetes版本:v1.19.4
发生了什么:当我尝试使用kubernetes执行任务时,我得到了这个错误
[2021-01-14 19:39:17,628] {dagbag.py:440} INFO - Filling up the DagBag from /opt/airflow/dags/repo/bash.py
Traceback (most recent call last):
File "/home/airflow/.local/bin/airflow", line 8, in <mod