1 Airflow简介

1. 定义

Airflow是一个可编程、调度和监控的工作流平台。

Airflow用户可以定义一组有依赖关系的任务，即邮箱无环图（DAG），按照依赖依次执行。

Airflow提供了丰富的命令行和强大的Web UI，可以方便地管控调度任务以及实时监控运行状态。

2. 竞品对比

2.1. Linux Crontab

免费，但只能满足最基本需求

2.2. 商业软件

3. ETL痛点

  • 日益增加的数据量
  • 快速排查任务失败的原因
  • 每个新工具都要重新学习新的配置规范
  • 重试，监控，报警
  • 敏捷高效地开发以满足业务需求
  • 不均衡的数据峰值
    ——数据工程师害怕on call
    （ETL = Extract Transform and Load）

4. 特点



Reference:
【Airflow从零到神】01- Airflow简介_哔哩哔哩_bilibili

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容