1. 定义
Airflow是一个可编程、调度和监控的工作流平台。
Airflow用户可以定义一组有依赖关系的任务,即邮箱无环图(DAG),按照依赖依次执行。
Airflow提供了丰富的命令行和强大的Web UI,可以方便地管控调度任务以及实时监控运行状态。
2. 竞品对比
2.1. Linux Crontab
免费,但只能满足最基本需求2.2. 商业软件
3. ETL痛点
- 日益增加的数据量
- 快速排查任务失败的原因
- 每个新工具都要重新学习新的配置规范
- 重试,监控,报警
- 敏捷高效地开发以满足业务需求
- 不均衡的数据峰值
——数据工程师害怕on call
(ETL = Extract Transform and Load)
4. 特点
Reference:
【Airflow从零到神】01- Airflow简介_哔哩哔哩_bilibili