首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何设置/监视大量等效的DAG

如何设置/监视大量等效的DAG
EN

Stack Overflow用户
提问于 2018-09-26 20:24:14
回答 1查看 84关注 0票数 0

我对气流还不熟悉,而且还在学习这些概念。

我正试图每天监控大量的网页(>1000页)。目前,我动态地为每个网页创建一个DAG (数据采集和处理)。从功能的角度来看,这是可行的。但是,查看用户界面,我发现DAG的数量非常庞大,我的问题是:

  1. 这样做对吗?(每个网页有一个DAG )
  2. 有没有办法更好地了解所有网页的监控情况?

因为所有的DAG都是等价的,并且只处理不同的url,这让我认为将这些DAG组合在一起或者进行一个共同的概述可能是可能的,或者至少是一个好主意。例如,如果某个网页的获取或处理失败,我想在UI中轻松地看到这一点,而不必滚动许多页面来找到特定的DAG。

EN

回答 1

Stack Overflow用户

发布于 2018-09-27 14:32:21

您应该只有一个DAG和多个任务。根据您提供的信息,唯一的变化似乎是URL,所以最好有一个DAG和许多任务。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/52525542

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档