在气流数据采集系统中,我试图使用一个TimeDeltaTrigger:
from airflow.triggers.temporal import TimeDeltaTrigger
...
self.defer(trigger=TimeDeltaTrigger(timedelta(seconds=15)), method_name="execute")但是,当我的DAG运行时,我会在GUI中得到一个警告:

在GUI中,如果我去浏览->触发器,我会看到一个触发器,但它不是针对TimeDeltaTrigger的

Deferrable算子(https://airflow.apache.org/docs/apache-airflow/stable/concepts/deferring.html)的文档说:
确保您的气流安装至少运行一个触发器进程,以及正常的调度程序。
但目前尚不清楚如何做到这一点。
如何配置我的气流安装使我可以使用TimeDeltaTrigger
发布于 2021-11-16 19:48:48
triggerer是一个像scheduler、webserver和worker这样的过程。您需要启动一个专用于运行触发器的进程或容器,以使用可推迟的操作符。
若要启动触发器进程,请在气流环境中运行airflow triggerer。您应该会看到类似于下面的图像的输出。
Triggerer日志

https://stackoverflow.com/questions/69919722
复制相似问题