1回答
然而，他们在Airflow中遗漏了一件事，那就是监控像抓取这样的持久作业:获取到目前为止抓取的页面和项目的数量，到目前为止失败或没有成功重试的URL的数量。我可以选择哪些选项来监控长期作业的当前状态？有没有什么已经可用的，或者我需要求助于外部解决方案，比如Prometheus，Grafana和instrument Scrapy spiders？
浏览 14提问于2019-11-15得票数 0
我们有许多气流实例运行在不同的组织/团队在公司周围。虽然我们已经构建了一个高度可扩展的集中式气流服务，但我们确实需要依赖另一个气流实例来运行一个dag。我们的DevOps团队经常承担跨团队运行更大的编排的任务，我们更喜欢对所有任务保持一个非常详细的视图，即使它们处于远程气流中。
有什么好的方法可以完全忠实地监控远程<e
浏览 0提问于2020-03-26得票数 0
回答已采纳
我们在k8s中有很多长时间运行的内存/cpu密集型作业，它们都是在google平台上的kubernetes上与芹菜一起运行的。然而，我们在交付的scaling/retrying/monitoring/alerting/guarantee方面有很大的问题。我们想从芹菜转向更先进的框架。
浏览 0提问于2019-07-15得票数 8
我经常遇到这样的情况：
resourcesStore 设置长期资源(如SQL表)或跳过(如果它已经存在)，请执行一些工作，在长期资源和清理临时资源(清理临时资源)中创建临时结果。是否有一种气流方式或最佳做法来处理只运行一次的一次性任务？
浏览 1提问于2021-12-17得票数 0
1回答
func, provide_context=True)
task1 >> task3task3 >> task4
如何配置气流，使任务2和任务</em
浏览 4提问于2022-02-15得票数 1
回答已采纳
1回答
用于微服务的气流结构
、、、、
我目前的平台架构有一个用于下载/收集数据的微服务、一个用于ETL的微服务和另一个处理一些复杂SQL脚本的微服务。我想问：，使用微服务的气流最好<
浏览 4提问于2020-04-22得票数 5
我正在考虑编写和气流操作符rest-to-s3.py，这将从外部Rest中提取数据。这将是一项长期运行的任务，我如何跟踪失败？有比编写操作符更好的选择吗？是否建议执行一项可能运行几个小时并等待它的任务?
我对气流相当陌生，所以这会很有帮助。
浏览 3提问于2020-03-11得票数 0
目前正在为气流中长期运行的任务设置警报。要取消/失败气流进程，我已经将"dagrun_timeout“放在default_args中，它执行了我所需的任务，当它运行太长时间(通常是卡住)时，它会失败/出错。唯一的问题是"on_failure_callback“中的函数在超过dagrun_timeout时不会被调用，因为"on_failure_call
浏览 1提问于2021-09-24得票数 1
回答已采纳
我试图将多种语言(R、python、C等)的多个包和工具缝合在一起。在一个单一的分析工作流中。
有什么标准的方法吗？最好(但不一定)在python中。
浏览 0提问于2017-06-06得票数 1
回答已采纳
新的气流，所以道歉，如果这个问题没有真正的意义。在webserver中是否有一个命令或位置可以看到所有正在运行的工作人员的列表？另外，如果没有使用airflow worker显式启动芹菜工作节点，是否存在使用not服务器或调度程序初始化的“默认”工作人员？
浏览 1提问于2020-11-17得票数 2
回答已采纳
我有一个气流DAG，每次从REST端点得到特定响应时都需要触发。我需要在一个特定的时间间隔(几分钟)检查这个端点。我一直在研究如何实现这一点，并发现了两种不同的方法：
只需安排我的DAG每2分钟运行一次，并在DAG的第一个任务中检查http端点。我的问题是，这两种方法有什么区别？我的猜测是: 1)当传感器每隔X秒调用端点时，DAG总是在运行；2)如果来自API的
浏览 3提问于2021-03-13得票数 0
回答已采纳
我想(以编程的方式)检查某个芹菜工人是否正在执行任何任务。我不在乎在哪里执行解决方案，它可以在气流调度程序/db机器上，也可以在气流工作机器本身上。我已经检查过了：，但是这只会检查是否在所有工作人员之间运行任务。我想检查是否某个特定的工作人员没有正在运行的任务，这样我就可以停止该工作人员(缩小规模的工作人员)。我也安装了flower，我可以监视成功/失败的任务，但我不确定这些是否
浏览 7提问于2021-01-15得票数 1
回答已采纳
我们是否可以使用气流dag来定义一个永无止境的工作(即，是否通过将任务/dag超时设置为None并手动触发其运行，来创建一个具有无条件循环以使用流数据的任务？让airflow监控一个永无止境的任务会导致问题吗？谢谢
浏览 2提问于2017-12-11得票数 4
回答已采纳
2回答
我想使用Statsd和DataDog的气流来监控DAG是否需要比以前的执行时间多两次。因此，我需要一些实时计时器的DAG (或operator)。我还考虑了/特性，但它们不适合这种用例。
浏览 2提问于2020-01-23得票数 3
我试图将一个由临时控制和监控的工作流转移到气流2，工作流由多个步骤组成，这是一个典型的用例，只有一个例外--一个步骤是一个非常长时间运行的工作。在一些罕见的情况下，这项工作可能需要从几分钟到一天(甚至两天)。这个任务实际上是由另一个系统执行的(我无法控制)，这里的气流只负责远程启动和轮询状态。没有办法把任务分成小的。但是，当任务运行时，我能够监视任务</e
浏览 5提问于2021-11-24得票数 2
回答已采纳
AirFlow与基于流的编程工具(如Node)的区别是什么？如果它不是FBP工具，那么与FBP相比，它的优缺点是什么？注:我注意到气流图是DAG吗？这是否是一个限制(关于FBP工具的可能是什么?)
谢谢！
浏览 0提问于2018-09-28得票数 0
我刚开始使用GCP的Composer服务，我想计算我的每个任务运行的持续时间。有没有什么脚本可以让我从Stackdriver日志中获取Airflow DAG的每个任务的持续时间。我可以通过减去任务的开始和结束时间来手动计算持续时间，但我想使用脚本来实现这一点。有人能帮我一下吗？我附上了生成的日志截图供您参考。
浏览 0提问于2020-11-10得票数 0
我目前正在使用气流1.8.2来调度一些EMR任务，然后在Redshift集群上执行一些长期运行的查询。为此，我正在使用postgres_operator。查询大约需要30分钟才能运行。终止时的消息是服务器意外地关闭了连接。
我在Redshift的末尾检查了日志，它显示查询已经运行，连接已经关闭。不知怎么的，那是从来没有沟通回气流。任何关于我还能查到什么的指示都会有帮助。为了提供更多的信息，我的<em
浏览 3提问于2017-09-25得票数 2
回答已采纳
将与dag_id和run_id关联的特定dag_id标记为成功/失败。
工作完成后，它(外部系统或我的工作的后期构建操作)通知气流，<
浏览 3提问于2016-10-29得票数 4
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
