我刚刚开始使用Airflow-Pentaho-Plugin。我已经在Pentaho数据集成服务器上创建了一个转换，并创建了一个从Airflow到PDI的连接。即使转换失败，转换的状态在作业图上也始终是绿色的，并且作业也会被触发。我可以在日志中看到转换失败。我期望失败应该被报告，而不是运行后续的下游。对于我遗漏了什么或者做错了什么，有什么建议吗？我的DAG如下： from datet
浏览 18提问于2021-05-01得票数 0
2回答
我在google文档中看到过这样的内容：
环境健康--显示编写器部署的运行状态的时间线。绿色状态并不意味着所有气流部件都可以运行，DAG也可以运行--它只反映了作曲家部署的状态。即使我的环境健康显示不健康，所有其他指标都是健康的，甚至气流也在运行。那么，请您解释一下，这种不健康的状况对环境健康意味着什么，对气流数据管道的影响是什么，以及如何修复它。
浏览 0提问于2021-04-02得票数 2
回答已采纳
I有一个DAG 'abc‘计划每天早上7点在CST上运行，其中有任务'xyz’，因为某种原因，我不想运行明天的任务'xyz‘。。
如何跳过特定的任务实例？
浏览 1提问于2020-06-12得票数 2
回答已采纳
1回答
我使用的气流1.10.2叉从流行的和使用CLI操作它读取。我已经创建了一个DAG，当我通过UI触发它时，它将被成功地执行。_5以检查DAG运行的状态。DAG已成功执行，并将预期的输出写入日志文件中。这对应于ID 1和2。
我去了UI中的树视图，意识到很长时间没有
浏览 1提问于2019-04-15得票数 8
我制作了一个非常简单的DAG，如下所示：from airflow import DAG
cleanup_command = "/home/ubuntu/airflow/dags/scripts/log_cleanup/log_clean
浏览 1提问于2018-04-02得票数 2
回答已采纳
1回答
由于受信任的层不使用数据库，所以我可以通过允许它已经启动下一个原始任务来优化dag执行时间。也不能同时运行查询，所以只能一次运行一个原始任务。实际流程：(未优化，原始任务本来可以启动时处于空闲状态)预期流程：(优化，确保在任何时候都有原始任务代码：from airflow.utils.dates impor
浏览 7提问于2022-04-13得票数 0
所有的DAG代码已经调整，我们正在使用到目前为止，最新的可用图像composer-2.0.0-preview.5-airflow-2.1.4。为了进行测试，我删除了K8s在K8s中的webserver上的健康检查(以及启动探针)。然后，我发现有一个来自airflow-monitoring pod (10.63.129.6)的IP的呼叫，此后不久，gunicorn进程接收到一个HUP：
airflow-webserver 10.63.1
浏览 0提问于2021-11-17得票数 2
回答已采纳
2回答
在Airflow 1.10.10中，当禁用的DAG通过按下按钮将其状态从Off更改为On来启用时，DAG将始终在下一次计划运行时间之前运行一次。目前，我需要在将其状态切换为On后快速终止DAG运行。
浏览 1提问于2020-06-17得票数 4
我想知道dag的状态是运行、失败还是成功。我正在通过CL参数airflow trigger触发dag，在作业执行之后，我想知道运行的状态。我找不到任何方法。我尝试了airflow dag_state，但它没有提供任何帮助。如果一天中有不止一次运行，通过命令行参数或python代码获取最近一次运行的状态，我应该怎么做？
浏览 35提问于2019-11-07得票数 3
回答已采纳
2回答
我们使用的是Apache 1.9.0。我写了一个雪花钩子插件。我已经将钩子放在$AIRFLOW_HOME/plugins目录中。plugin_manager中添加了一些打印语句，以尝试更好地处理正在发生的事情。home__ubuntu__airflow__plugins_snowflake_hook2.SnowflakeHook2'>]因为
浏览 2提问于2018-04-18得票数 5
1回答
我正在尝试向我的气流dags添加警报。dags有多个任务，有些任务多达15个。我想执行一个bash脚本(所有dags的通用脚本)，以防任何任务在任何时候失败。例如，dag的tasks T1 to T5，as T1 >> T2 >> T3 >> T4 >> T5。我想触发任务A(代表警报)，以防其中任何一个失败。将真的很有帮助，因为任何人都可以帮助我的任务层次。
浏览 2提问于2020-11-17得票数 0
我想知道airflow backfill到底是如何工作的，因为它可以帮助解释我在气流方面遇到的一些问题。因此，我暂停了DAG，并使用命令airflow backfill -m将清除的任务实例设置为成功。 当我这样做的时候，相关的任务实例会处于关于catchup=True行为的“中断”状态。如果我再次清除它们，它们永远不会被调度，尽管它们的DAG运
浏览 16提问于2019-06-22得票数 1
回答已采纳
我已经创建了一个dag，该dag在Airflow UI中可用，并将其打开以运行它。运行dag后，状态显示为可重试。在那之后，我去了服务器，使用了命令"Airflow scheduler“，然后dag就成功了。
在运行dag之前，调度程序已经启动并运行，我不确定为什么会发生这种情况。当我们创建一个新的dag时，我们需要运行气流调度器吗？想知道调度器是如何工作的</e
浏览 0提问于2020-05-20得票数 1
在虚拟环境中设置Airflow (2.1.4)，然后安装第三方插件"pip install simple-dag-editor“name | source| <simple_dag_editor
浏览 2提问于2021-09-29得票数 0
我将Airflow 2.0.0与CeleryExecutor和mysql-8.0.22一起使用。因为过了一段时间，调度程序也会崩溃。Airflow安装在/root/下面是airflow.cfg：dags_folder = /va
浏览 25提问于2021-03-12得票数 0
在我对airflow的第一次尝试中，我尝试运行安装附带的一个示例DAGS。这是v.1.8.0。以下是我的步骤：[2017-04-19 15:32:38,391] {__init__.py:57} INFO-19 15:32:38,676] {models.py:167} INFO - Filling up the DagBag from /Users/gbenison/
浏览 10提问于2017-04-20得票数 31
Airflow提供rest API功能来提取dag/任务状态。https://airflow.apache.org/docs/apache-airflow/stable/stable-rest-api-ref.html#section/Trying-the-API但是想知道是否有一种方法可以仅获得所有dag w.r.t dag所有者的最新dag/
浏览 27提问于2021-08-26得票数 0
我想做一个松弛的警报(失败状态和成功状态)请注意，它仍然失败。但是，我认为这不是有效的，也不是真正的状态。
我怎样才能改变呢？...我想知道实际失败状态的延迟
浏览 2提问于2018-11-30得票数 1
1回答
我试图从竹子中触发气流，并试图让它在前台运行，这样竹子就可以知道触发器的执行何时完成。 有人能建议我如何让竹子在远程服务器上等待气流触发器的执行吗？如果airflow dag执行成功，是否有可能捕获结果，以便竹子可以标记构建失败或成功？
浏览 15提问于2020-05-04得票数 1
而下一个任务需要等待前一个任务完成(无论前一个任务是成功还是失败)。 'owner': 'airflow', 'max_active_runs=dag)
在我的配置下，task1将在前一个状态为成功时触发，并在前一个<
浏览 67提问于2019-07-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
