我对气流还不熟悉,而且还在学习这些概念。
我正试图每天监控大量的网页(>1000页)。目前,我动态地为每个网页创建一个DAG (数据采集和处理)。从功能的角度来看,这是可行的。但是,查看用户界面,我发现DAG的数量非常庞大,我的问题是:
因为所有的DAG都是等价的,并且只处理不同的url,这让我认为将这些DAG组合在一起或者进行一个共同的概述可能是可能的,或者至少是一个好主意。例如,如果某个网页的获取或处理失败,我想在UI中轻松地看到这一点,而不必滚动许多页面来找到特定的DAG。
发布于 2018-09-27 14:32:21
您应该只有一个DAG和多个任务。根据您提供的信息,唯一的变化似乎是URL,所以最好有一个DAG和许多任务。
https://stackoverflow.com/questions/52525542
复制相似问题