Airflow 安装总结(2)-执行调度

Airflow执行调度

Airflow 是通过scheduler管理所有的DAGs。

启动命令:


airflow scheduler

start_date

start_date是DAG的第一次执行的时间。后行的执行时间是start_date + schedule_interval

注意 start_date 格式需要与 schedule_interval 保持一致。

例如DAG设置每小时执行,start_date 也需要设置为小时类型。

schedule_interval

schedule_interval 是DAG级别的,控制DAG的执行周期。

例子:

  • 每5分之执行

dag = DAG(default_args=args, schedule_interval=timedelta(minutes=5))

  • Cron的方式定义schedule_interval

dag = DAG('dwd_rpt_m', default_args=default_args, schedule_interval='0 3 * * *')

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 任务需求:定时执行的任务,调用存储过程,进行数据迁移。 存储过程相关总结:(存储过程的创建 不能伴随有if exi...
    时待吾阅读 3,142评论 0 4
  • Airflow Scheduler调度的坑: 官网上关于调度是这么说的 Note that if you run ...
    bluenickle阅读 6,551评论 0 3
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,083评论 19 139
  • ** 版本:2.2.1 ** Hello world: 调度器: 任务详情:任务体实现Job接口 触发器: 执行调...
    Coselding阅读 10,284评论 12 38
  • 我看了一本书,名叫会打猎的猫,这本书里讲的是一只猫,它的主人出去打猎时,带上了他,它的主人把野鸭打死后,这只...
    岩冥龙蝎阅读 1,047评论 0 0