Airflow就是这样的一个任务调度平台.
前面Airflow1.10.4介绍与安装已经
安装好了我们的airflow, 可以直接使用了. 这是第一个DAG任务链....import BashOperator
from datetime import datetime
default_args = {
"owner": "ryan.miao",
"...description="第一个DAG",
default_args=default_args,
schedule_interval='0 8 * * *')
t1 = BashOperator...这里是一个BashOperator, 来自airflow自带的插件, airflow自带了很多拆箱即用的插件.
ds
airflow内置的时间变量模板, 在渲染operator的时候,会注入一个当前执行日期的字符串...这3个任务之间有先后顺序,必须前一个执行完毕之后,后一个才可以执行. 这叫任务依赖. 不同的任务之间的依赖.在airflow里, 通过在关联任务实现依赖.
还有同一个任务的时间依赖.
