故事背景:
为准备大数据数据分析源,需要准确,有效,大量, 实时稳定的数据源,即是需要完成 一个ETL系统
刚好就想到了 airflow
主要功能:
执行cron 并保留记录的可视化追踪,其后端可用 mysql 和 postgres 作为持久化dags运行记录的存储
为大数据实现 数据的获取,清洗,定时获取的功能
官网链接:
http://airflow.apache.org/docs/stable/
画面效果:
故事背景:
为准备大数据数据分析源,需要准确,有效,大量, 实时稳定的数据源,即是需要完成 一个ETL系统
刚好就想到了 airflow
主要功能:
执行cron 并保留记录的可视化追踪,其后端可用 mysql 和 postgres 作为持久化dags运行记录的存储
为大数据实现 数据的获取,清洗,定时获取的功能
官网链接:
http://airflow.apache.org/docs/stable/
画面效果: