Airflow老兵请帮帮忙
我正在寻找cron的替代品,偶然发现了apache airflow。
我们有一个设置,其中多个用户应该能够创建他们自己的DAG并计划他们的作业。
我们的用户是可能不知道如何编写DAG python文件的混合用户。此外,他们可能无法访问运行airflow的服务器。
是否可以通过UI创建气流DAG。我找不到任何与此相同的引用。所有示例都讲述了如何创建一个python文件并将其上传到$AIRFLOW_HOME/dag/目录。用户将无权访问此目录。
例如,Rundeck允许用户通过UI添加工作流和任务依赖关系。在airflow中有没有类似的插件/功能。
PS:我真的很喜欢airflow显示依赖图的方式,并想尝试一下。但是,如果创建DAG如此复杂,那么对于我的许多最终用户来说,这将是一个主要问题。
发布于 2018-02-28 07:32:38
我不认为有一个开箱即用的解决方案。我会尝试你的任务的组合:CWL(通用工作流语言),Airflow,Rabix Composer
所以,CWL只是一个规范,你可以用类似于YAML的语法来描述你的工作流程。
有一个软件包pip3 install cwl-airflow
,它可以将CWL解析为Airflow DAG https://github.com/Barski-lab/cwl-airflow。
Rabix Composer UI/图形CWL编辑器。
发布于 2021-10-18 12:32:22
发布于 2020-11-10 08:40:57
https://stackoverflow.com/questions/48986732
复制相似问题