Airflow未在/usr/local/airflow/dags中加载dags
Airflow未在/usr/local/airflow/dags中加载dags
提问于 2017-08-07 01:10:09
Airflow似乎跳过了我添加到/usr/local/airflow/dags中的dags。
当我跑的时候
airflow list_dags输出如下所示
[2017-08-06 17:03:47,220] {models.py:168} INFO - Filling up the DagBag from /usr/local/airflow/dags
-------------------------------------------------------------------
DAGS
-------------------------------------------------------------------
example_bash_operator
example_branch_dop_operator_v3
example_branch_operator
example_http_operator
example_passing_params_via_test_command
example_python_operator
example_short_circuit_operator
example_skip_dag
example_subdag_operator
example_subdag_operator.section-1
example_subdag_operator.section-2
example_trigger_controller_dag
example_trigger_target_dag
example_xcom
latest_only
latest_only_with_trigger
test_utils
tutorial但这不包括/usr/local/airflow/dags中的dags
ls -la /usr/local/airflow/dags/
total 20
drwxr-xr-x 3 airflow airflow 4096 Aug 6 17:08 .
drwxr-xr-x 4 airflow airflow 4096 Aug 6 16:57 ..
-rw-r--r-- 1 airflow airflow 1645 Aug 6 17:03 custom_example_bash_operator.py
drwxr-xr-x 2 airflow airflow 4096 Aug 6 17:08 __pycache__是否有其他条件需要满足气流才能识别并加载DAG？
回答 12
Stack Overflow用户
发布于 2017-08-07 01:36:24
正在加载我的dag，但我把DAG的名称弄错了。我期望dag由文件命名，但名称由DAG构造函数的第一个参数决定
dag = DAG(
'tutorial', default_args=default_args, schedule_interval=timedelta(1))Stack Overflow用户
发布于 2017-10-05 14:12:34
在列出dags之前尝试airflow db init。这是因为airflow list_dags列出了数据库(而不是您提到的文件夹)中存在的所有dags。Airflow initdb将在数据库中为这些dags创建条目。
确保将环境变量AIRFLOW_HOME设置为/usr/local/airflow。如果未设置此变量，则airflow将在home airflow文件夹中查找dags，该文件夹在您的示例中可能不存在。
Stack Overflow用户
发布于 2018-08-05 09:46:46
示例文件不在/usr/local/airflow/dags中。您可以通过编辑气流(通常在~/ airflow.cfg中)来简单地禁用它们。在“核心”部分设置load_examples = False。
有几个错误可能会使您的DAG不在list_dags中列出。
- 您的DAG文件有语法问题。要检查这一点，只需运行
python custom_example_bash_operator.py并查看是否有任何问题。 - 查看该文件夹是否为默认的dag加载路径。对于新的鸟，我建议只创建一个新的.py文件并从这里复制样本
https://airflow.incubator.apache.org/tutorial.html，然后看看测试dag是否出现。 - 确保dag文件中有
dag = DAG('dag_name', default_args=default_args)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45534535
复制相关文章
相似问题
腾讯云开发者
