问有什么办法监控气流DAG的执行时间吗？

EN

您可以通过多种不同的方法来处理这个问题：

• 在过去，我配置了一个遥测DAG，它通过查询元数据表来收集所有任务/DAG的当前状态。我收集这些指标并将它们推上CloudWatch。这成为问题，因为这些内部领域经常变化，所以我们会遇到问题时，试图升级到更新版本的气流。
• 也有一些维护良好的普罗米修斯出口商，一些公司已经开源。通过设置这些选项，您可以根据自己的意愿频繁轮询公开的导出路径(DataDog 支持普罗米修斯)。

这些只是你的一些选择。因为气流网络服务器只是一个水瓶应用程序，你真的可以以任何你认为合适的方式公开度量标准。

据我所知，您可以使用DataDog监视DAGs中的运行任务，请参阅与气流文档的集成。

您可以通过DogStatD 文档引用度量标准。此外，查看这个页面将有助于了解要监视的内容。

例如，指标如下：

• airflow.operator_failures：监视失败的操作符。
• airflow.operator_successes：监视器成功操作。
• airflow.dag_processing.processes：当前运行的DAG解析(进程)的数量。
• airflow.scheduler.tasks.running：在执行器中运行的任务数，显示为任务。