Apache DolphinScheduler使用学习文档

目录

一、介绍

二、架构

三、参考资料

四、功能模块

1、页面

2、资源中心

3、数据质量 

4、数据源中心

5、监控中心

6、安全中心

7、项目管理

一、介绍

Apache DolphinScheduler是一个分布式去中心化易扩展的工作流任务调度系统。

二、架构

三、参考资料

shell

api:

http://10.9.255.239:12345/dolphinscheduler/doc.html?language=zh_CN&lang=cn

四、功能模块

1、页面

环境：ds 2.0.5

环境：ds 3.0.x

2、资源中心

3、数据质量 

ds 3.0版本才有

4、数据源中心

5、监控中心

6、安全中心

ds 3.0版本才有

7、项目管理

1.创建好项目后进入，可进行工作流的创建

 2.选择【工作流定义】-【创建工作流】，可以看到支持很多组件，包含数据采集工具【sqoop】【datax】，及脚本开发【python】【sql】【shell】等，还有调度依赖【sub_process】（可配置工作流为子节点实际调度执行）【dependent】(只判断配置的实例有没有执行成功，不会实际调度任务执行）

 3.创建完成后保存发布，点击【工作流定义】，可看到已经创建好的工作流【test_demo】

 4.点击【上线】

5.配置定时任务，配置调度时间

6.执行或补数

7.查看工作流执行状态及任务状态及日志