参考文档
1)文档https://airflow.apachecn.org/#/zh/start -- 这个文档真的不顶用,又没有创建用户这一步,又没有如何关闭这一步
2)视频https://www.bilibili.com/video/BV1xy4y1V7DW/?spm_id_from=333.788&vd_source=ffc935d7e1b5bbef786d8450078dc072
1、先新建一个环境用于airflow的安装和运行
之前有创建过一个anaconda环境,因此直接进入
- 输入命令conda env list查看有什么环境
-
输入命令conda activate base进入环境
image.png
image.png
2)安装airflow,用了个清华镜像快很多
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple apache-airflow
有一个报错,是几个包没有装上
image.png
装一下几个包吧
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pathlib
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ruamel-yaml
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple " Jinja2<3.0,>=2.3"
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple " MarkupSafe<2.0"
装完了再安装一遍还是报错,其实不影响,先不管了
image.png
3)尝试启动一下airflow
airflow db init
image.png
4)创建账户
airflow users create \
--username airflow \
--firstname whale \
--lastname xxx \
--role Admin \
--email xxx@126.com
这里输入密码并重复密码,就能创建成功了
5) 创建浏览器端口
airflow webserver -p 8080 -D
输入-D可以避免大量日志输出
这个时候可以在浏览器中输入localhost:8080,输入刚才创建的账户和密码
这里忘记截图了,此时还没有任何dag(参考视频!!!)
6)启动定时器
定时器启动后会有很多的example
airflow scheduler
7)如何关闭
#找到正在后台运行的项目
ps aux | grep airflow-webserver
#关闭
kill -9 3602
image.png