这是我在dags文件夹中的数据文件。
Code that goes along with the Airflow located at:
http://airflow.readthedocs.org/en/latest/tutorial.html
"""
from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator
from airflow.operators.python_operator import PythonOperator
from datetime im
Airflow scheduler正在根据airflow.cfg文件中的设置从正确的文件夹中提取dags。但是,Airflow ui the服务器正在从错误的文件夹中选取dags。我通过查看运行airflow via服务器的终端的stdout实现了这一点:[2018-10-08 14:26:48,519] [15535] {models.py:167} INFO - Filling up the DagBag from /home/aviral/airflow/dags
注意,我的airflow.cfg文件有:
# The folder where your airflow pipelines
我正在使用气流稳定舵图和Kubernetes Executor,新的pod正在为dag调度,但它与dag_id的故障无法找到问题。我正在使用git-sync来获取dags。下面是错误和kubernetes配置值。有人能帮我解决这个问题吗?
错误:
[2020-07-01 23:18:36,939] {__init__.py:51} INFO - Using executor LocalExecutor
[2020-07-01 23:18:36,940] {dagbag.py:396} INFO - Filling up the DagBag from /opt/airflow/dags/dag
我试图使用码头操作员自动执行一些脚本使用气流。
气流版本:apache-airflow==1.10.12
我想要做的是“复制”我的项目的所有文件(文件夹和文件)到容器使用这段代码。
以下文件ml-intermediate.py位于此目录~/airflow/dags/ml-intermediate.py中
"""
Template to convert a Ploomber DAG to Airflow
"""
from airflow import DAG
from airflow.operators.bash_operator import B
我无法列出我创建的dag newely.Getting导入Error.Kindly帮助我解决下面的错误
:/$ airflow list_dags
[2019-12-27 21:07:50,125] {__init__.py:51} INFO - Using executor SequentialExecutor
[2019-12-27 21:07:50,127] {dagbag.py:403} INFO - Filling up the DagBag from /home/muniaraj/airflow/dags
[2019-12-27 21:07:50,134] {dagbag.py:2
在的项目之后,我正在尝试集成使用NFS服务器作为后台存储PV的气流kubernetes执行器。我有一个PV airflow-pv,它与NFS服务器链接。气流网络服务器和调度器使用的是与airflow-pvc绑定的PVC airflow-pv。我已经将我的守护文件放置在NFS服务器/var/nfs/airflow/development/<dags/logs>中。我也可以在webserver中看到新添加的DAGS。但是,当我从UI执行DAG时,调度程序会为该任务触发一个新的POD,但是新的工作荚无法运行
Unable to mount volumes for pod "tut
我正在尝试使用Kubernetes Executor在单独的pod中处理我创建的dags!
我们有一个步骤是同步git来访问dags,首先我在airflow.cfg中放了以下参数,但在这些条件下我不能处理简单的python操作符(它不会创建pod)。有没有人能做到这一点?git sync的设置是否正确?
Airflow.cfg:
# For either git sync or volume mounted DAGs, the worker will look in this subpath for DAGs
dags_volume_subpath =
# For DAGs mounted
当尝试通过airflow trigger_dag test_dag运行dag时,我得到了错误:airflow.exceptions.DagNotFound: Dag id test_task not found in DagModel。
运行airflow list_dags时,DAG正确列出。我还进行了检查,以确保将$AIRFLOW_HOME目录正确设置为dag所在的位置。我能让它工作的唯一方法就是运行一个特定的任务,比如airflow test test_dag test_task。运行python dags/test_dag.py时未显示任何错误。
导入后,dag文件本身中的代码:
de
我动态地创建了一个dags集合(对所有对象使用相同的.py )。有一个build-DAG是我不能运行的:
airflow.exceptions.AirflowException: dag_id could not be found: `build-DAG`. Either the dag did not exist or it failed to parse.
at get_dag (/usr/local/lib/python2.7/site- packages/airflow/bin/cli.py:130)
at run (/usr/local/lib/python2.7/site-p
嗨,我计划把我的气流版本从1.11升级到部署在OpenShift中的1.15。由于DAG的数量非常多,所以我计划升级新娘版本,而不是使用气流2.2
我所得到的错误很可能是由于fernet键造成的:
ERROR: The `secret_key` setting under the webserver config has an insecure value - Airflow has
failed safe and refuses to start. Please change this value to a new, per-environment,
randomly generated
我在docker hub的apache/airflow:latest上创建了一个镜像,用于复制本地dags和插件。在构建本地气流镜像之后,我运行命令docker run -it local_airflow:latest list_dags来列出最近复制的dags,但是我得到了输出: Unable to load the config, contains a configuration error.
Traceback (most recent call last):
File "/usr/local/lib/python3.6/logging/config.py", li
我今天尝试创建我的第一个airflow DAG:
from datetime import timedelta
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.operators.dummy_operator import DummyOperator
from airflow.operators.python_operator import PythonOperator
from airflow.utils.dates import days_ago
d