airflow 介绍 airflow是什么 了解 airflow

故事背景:

为准备大数据数据分析源,需要准确,有效,大量, 实时稳定的数据源,即是需要完成 一个ETL系统

刚好就想到了 airflow

主要功能:

执行cron 并保留记录的可视化追踪,其后端可用 mysql 和 postgres 作为持久化dags运行记录的存储

为大数据实现 数据的获取,清洗,定时获取的功能

官网链接:

http://airflow.apache.org/docs/stable/

画面效果:

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容