面对Apache - Airflow中的场景，要求在sla未命中的情况下停止DAG执行，并继续后续DAG间隔的执行 这样的功能可以在Airflow中配置吗？
浏览 49提问于2020-12-09得票数 1
1回答
我目前已经设置了Airflow并正常工作，使用CeleryExecutor作为后端来提供水平缩放。这非常有效，特别是当工作节点位于EC2上的自动伸缩组中时。除了Airflow之外，我还使用纯芹菜来处理来自Flask/Python的简单异步任务(不需要整个管道)。到目前为止，这些普通芹菜任务的量非常小，我只是在与Flask相同的机器上运行普通芹菜工人。要做到这一点，一种方法是在Airflow worker服务器上运行纯芹菜worker服务(从自动伸缩等方面受益)。但这似乎不是一个
浏览 15提问于2019-10-05得票数 1
在气流中，我应该如何处理错误“此DAG在webserver DagBag对象中不可用，它显示在此列表中，因为调度程序将其标记为元数据数据库中的活动”？我将一个新的DAG复制到一个气流服务器上，并尝试：
运行airflow trigger_dag
浏览 7提问于2017-04-28得票数 19
我有一个类似下面的DAG，dagrun_timeout设置为4小时。当我转到UI并从start_date中清除所有要呈现的任务时，所有DAG都设置为正在运行状态。4小时后，任何未将自身标记为成功的DAG都将被标记为失败，即使它们尚未实际启动。我想知道这是否是故意的行为。或者，如果我想在不受dagrun_timeout干扰的情况下重新运行所有DAG，我应该使用airflow backfill吗？ 理想情况下，我希望能够使用UI，因为其他团队成员会希望重新
浏览 55提问于2019-06-15得票数 2
回答已采纳
1回答
气流DAG触发
、、
看看这个简单的dag：from datetime import datetime
from airflow.operators.bash_operator是因为调度程序不断从源dag文件夹重新读取这个dag，每次执行datetime.now()，注意到开始日期与当前排队的不同，重新添加这个守护进程，从而重新调度/推迟执行日期(我的dag_dir_list_i
浏览 3提问于2017-07-26得票数 0
5回答
如何在Airflow UI上停止/终止正在运行的任务？我正在使用LocalExecutor。即使我使用CeleryExecutor，我如何杀死/停止正在运行的任务？
浏览 1提问于2017-04-26得票数 53
我正在注册一个新的DAG：from airflow.operators.python_operator import PythonOperatorfrom airflow.utils.dates import days_ago我希望在</e
浏览 4提问于2020-06-19得票数 0
回答已采纳
当我将新的DAG python脚本放在dags文件夹中时，我可以在DAG UI中查看DAG的新条目，但它不是自动启用的。最重要的是，它似乎也没有正确加载。我只能单击列表右侧的Refresh按钮几次，然后切换列表左侧的on/off按钮才能安排DAG。这些都是手动过程，因为我需要触发一些东西，即使DAG脚本被放在dag文件夹中。
有人能在这方面帮我吗？顺便说一句，正如在文章标题中提到的，在我触发所有这些手动过程之前，有一个标记了
浏览 1提问于2017-01-10得票数 51
8回答
在启动web之后，有几十个默认的示例。我尝试了很多方法来消除这些缺陷，但我没有做到。
load_examples = False设置为airflow.cfg。删除文件夹lib/python2.7/site-packages/airflow/example_dags。在我删除dags文件夹后，这些示例标记的状态被更改为灰色，但项目仍然占据web屏幕。并且在airflow.cfg中指定一个新的dag文件夹为dags_folder
浏览 13提问于2017-04-14得票数 94
我有一个执行Python脚本的DAG，该脚本接受一个日期参数(当前日期)。我计划DAG在周一到周五的早上6:00运行，即工作日的东部标准时间。我注意到使用'0 6 * * 1-5'的调度间隔不起作用，因为星期五的执行直到下个星期一才发生。我将计划时间间隔更改为'0 6 * * *'，使其在每天上午6:00运行，并在dag开始时过滤掉‘0 6 * * 1-5’范围内的日期，因此有
浏览 60提问于2020-08-18得票数 0
我的airflow webserver服务器突然停止启动。当我尝试启动webserver时，它没有显示UI。我尝试以airflow resetdb和airflow initdb重启所有服务来重置db。将Gunicorn降级并再次升级。然而，重新启动我的linux机器，什么都没有改变。executor LocalExecutor
[2019-05-17 08:08:02,342] {models.py:273} INFO - Filling up the DagBag from /root
浏览 107提问于2019-05-17得票数 7
1回答
我正在Ubuntu20.04中运行气流2.1.0，我在一个进程中检测到了一种优化的可能性，我需要帮助找出如何改进它。提前谢谢你。我正在运行一个进程来执行两种任务：我需要允许每个任务组的可信任务在Raw任务结束后立即执行，但当发生这种情况时，我还需要触发下一个任务组的Raw任务。由于受信任的层不使用数据库，所以我可以通过允许它已经启动下一个原始任务来优化dag</em
浏览 7提问于2022-04-13得票数 0
同一DAG中的多个文件。当文件到达时，我需要触发一个转换作业。我在考虑使用云函数。但是在我的DAG中有很多依赖的工作。
任何帮助我们都将不胜感激
浏览 0提问于2020-04-30得票数 2
在DAG中是否有自定义电子邮件和发送任何任务失败的选项。有一个类似‘email _on_failure’的选项: True，但它不提供动态添加内容到电子邮件主题或正文的选项。我的DAG将如下所示from airflow.contrib.operators.databricks_operatorimport BashOperator
from airflow.operato
浏览 2提问于2018-08-07得票数 7
回答已采纳
目前，我们的DAG的结构是去获取这些活动，然后将它们存储在S3中，最后存储在Redshift中。然后，我们在设置后续任务之前查询Redshift，这些任务为每个活动提取数据。这是最糟糕的部分。我们也可以在S3中查看，但问题是键是以ds宏的值为模板的。在构建DAG本身时，似乎没有办法知道该值。我们当前的方法也不知道执行日期，所以它总是查询所有活动，即使这些活动在我们感兴趣的时间段内不是活动的。为了让它
浏览 0提问于2019-07-10得票数 2
在对当前的气流工作流程进行重大重构/重写之后，我正在测试更改。我仍然在使用LocalExecutor，因为我的所有任务都在远程机器上执行一些命令/远程机器(没有实际的计算，在相同的气流机器中完成的繁重工作)
DAGs是通过读取本地存储的JSON文件(文件中每个但是，在尝试通过UI触发DAG时(在测试时，我设置了schedule_interval=None所以触发器是手动的)，DAG爆炸了(核弹
浏览 2提问于2019-12-24得票数 0
回答已采纳
我的问题是一个停止执行任务的DAG，即使调度器看起来运行得很好。我正在运行一个远程气流服务器，版本1.8.0的Ubuntu EC2实例。调度程序正在运行LocalExecutor。我用airflow scheduler -D启动调度程序，一切看起来都很好。通过API调用触发的所有作业都可以可靠地执行，外部触发的作业也可以正常工作。具体来说，作业说它正在运行，但是没有发送到队列，并且没有实际运行任务，这会发生什么。在UI中，它只会陷入如下状态：执行</
浏览 2提问于2018-02-08得票数 2
3回答
import DAG dag_id='superdag=dag运行调度程序您预计总共会有四个DAG运行，因为调度程序应该为7/18、7/25、8/1和8/8回填。在我上面
浏览 3提问于2016-08-09得票数 3
回答已采纳
我需要一种方法来在超时后终止正在运行的KubernetesPodOperator任务，我的DAG计划运行every 15 minutes。我试图将dagrun_timeout和max_active_runs添加到DAG参数中，
我预期这将停止DAG，终止正在运行的任务，并将其标记为失败。但是实际发生的情况是，DAG被标记为失败，任务将继续运行，而且由于DAG计划每15分钟运行一次，所以DAG将被触发并继续运行，即使上一次DAG
浏览 5提问于2020-06-30得票数 1
回答已采纳
3回答
关于“动态任务”的其他问题似乎解决了在计划或设计时动态构建DAG的问题。我对在执行过程中将任务动态添加到DAG很感兴趣。from airflow import DAGfrom airflow.operators.python_operatorimport PythonOperator
from datetime im
浏览 2提问于2018-02-03得票数 21
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
