WeData 数据工作流提供了可视化的界面创建和组织工作流,工作流是多个任务的逻辑集合,建议在一个工作流中组织单个完整的数据处理场景,避免工作流内任务过多或者任务没有逻辑联系,从而降低工作流的维护成本。数据工作流中提供了多种类型的任务管理和编排能力,例如 Hive SQL、Spark SQL、Shell等。
功能说明:
区域 | 说明 |
1 | |
2 | 编排空间目录树区域,在此区域可以查看已创建的文件夹和工作流任务,通过双击的方式可以进入编辑界面,同时也可以在此进行:全局搜索、刷新、定位、收起、新建等操作。 |
3 | 提交( ):编辑工作流完成后,单击工具栏中的 图标将工作流中的节点提交到调度系统。刷新( ):刷新当前工作流所有配置信息,确保参数信息为最新。前往运维( ):可以通过单击此图标,前往运维-工作流列表页面。工作流测试( ):可以单击此图标,对当前工作流进行测试。停止工作流测试( ):可以单击此图标,停止对当前工作流进行测试。 |
4 | 任务节点列表:此区域展示了数据开发支持配置的所有节点信息。 |
5 | 画布:双击目录树工作流名称,可以在展开的工作流画布中编辑任务之间的依赖运行关系。 |
6 | 此区域为画布的格式配置项,在此区域可以对当前工作流画布进行对应的配置。 |
7 | 此区域可以对当前工作流任务进行调度的配置,以确保工作流正常运行。 通用设置:通用配置针对当前工作流编排以及工作流当中的任务节点生效,亦可在节点属性中进行针对性配置(调度最终以节点属性设置为准,节点已经单独设置的信息,不会随工作流配置的修改而变化)。 统一调度:对工作流下所有任务节点设置统一的调度配置, 支持常规和 crontab 方式。 历史记录:支持查看工作流的历史变更记录,包括操作人、变更时间、操作内容。 版本:展示计算任务的历史提交记录,可以在版本面板查看节点历史版本、提交人、提交时间、变更类型、状态、备注等信息。可查看单个版本的信息,并支持两个版本之间的勾选对比。 |