我们试图分析我们的DAG任务随着时间的推移,并希望能够查询数据在气流的(v2)元数据数据库。
一个简单的例子是带有a > b > c的DAG。
通过查询TaskInstance元数据,我们可以获得a、b和c的所有单独任务的运行细节。然而,在TaskInstance数据库中,没有c依赖于b、b依赖于a的信息。
我看过元数据环境中的其他对象,如DagRun、DagModel等,但是每个任务的上游/下游信息并不存在。是否有一种方法可以从元数据中获取任务依赖关系,以便将其连接到TaskInstance数据,以便通过查询元数据库而不是UI来跟踪任务执行的沿袭情况?
发布于 2022-09-19 17:07:31
你好吗?尝试名为serialized_dag的表。有关于依赖项dag的信息。
https://stackoverflow.com/questions/73603660
复制相似问题