一、项目前置条件
①具备 python 环境,并且可以通过 pip 进行安装项目
②具备 Pycram 工具,推荐专业版
③具备 Mysql 数据库
④具备 Navicat 数据库可视化管理工具
⑤推荐使用 Google Chrome、Firefox 浏览器
二、项目简介
项目通过爬取中国天气网的各个城市数据,然后保存到自己的数据库,然后
通过python 以及echart 技术对这些数据进行初步分析以及可视化。项目采用B/S
架构,通过浏览器即可访问。完善版本实现了所有可视化与后台数据进行关联,
并且爬虫也进行了优化处理。
三、项目技术
python 爬虫技术、Flask 后端框架、python、mysql 数据库、echart 大数据可视化、layui 后台管理前端框架。
四、项目功能
系统拥有五大功能模块,应付各种设计场景,其中有可视化功能模块、版本管理
功能模块、用户管理功能模块、实时气象数据管理功能模块、爬虫管理功能模
块。同时我们针对管理员和普通用户有着不同菜单权限的控制
爬虫简述
自动爬虫:项目启动,定时间隔1 小时爬取一次数据(可以自定义修改)。如下图。
项目手动启动爬虫:通过后台控制台,点击启动爬虫,后台静默爬取实时天气数据,智能跳
过已经获取到的数据。
python 文件手动启动爬虫:手动运行python 文件,获取最新天气数据。
五、运行截图
flask
flask_apscheduler
pymysql
requests
xlwt
selenium
Navicat软件将weathers数据库文件导入
pytcharm打开项目,配置Python环境(安装need文件的依赖包)
运行app.py文件启动项目
账号 admin 密码123456
爬取的网站(天气网)天气网
管理员账号admin 密码123456