Airflow执行调度
Airflow 是通过scheduler管理所有的DAGs。
启动命令:
airflow scheduler
start_date
start_date
是DAG的第一次执行的时间。后行的执行时间是start_date
+ schedule_interval
。
注意 start_date
格式需要与 schedule_interval
保持一致。
例如DAG设置每小时执行,start_date 也需要设置为小时类型。
schedule_interval
schedule_interval
是DAG级别的,控制DAG的执行周期。
例子:
- 每5分之执行
dag = DAG(default_args=args, schedule_interval=timedelta(minutes=5))
- Cron的方式定义schedule_interval
dag = DAG('dwd_rpt_m', default_args=default_args, schedule_interval='0 3 * * *')