**小马哥正在为Python的所有常见知识进行汇总,更会有大量实战项目**
**点击-->全栈工程师养成---Python内容导航页<--查看所有Python内容**
本文目的
0,写文章初期,特别关注自己的文章浏览量情况,总是打开博客空间去访问,太过麻烦,程序员都是懒的,机器能做的,绝对不自己动手.
1,学习python自带的urllib请求库;
2,通过爬虫监控自己所有的博客访问被浏览情况;(Version1.0监控简书的文章);
3,其它: Python Web开发,可视化开发,Python对数据库与邮件的模块支持.
需求
1,抓取目标博客的浏览量,留言量;
2,保存在MySQL数据库;
3,可视化显示统计指标;
4,有新留言,邮件通知;每天定时发布今日博文浏览状态.
数据流程图
博客浏览状态监控
实现步骤
1,数据采集
2,解析简书博客数据
3,保存数据到mysql
4,web读取数据进行可视化
5,Python中发送邮件
保存bean到dao代码
代表简书Bean的代码
下载网页,解析内容,保存数据到数据库
到现在为止,网页内容经过了urllib请求下载,正则表达式解析,sqlite保存到数据,流程走通,但是还有很多问题
1,数据库中的数据记录,有的不准确(正则解析html文档的时候,一定要解析下载下来的html,而不是浏览器中通过工具看到的);
2,简书个人首页中文章不是全部加载的,而是先加载7条,然后滚动条下拉动态加载,而动态加载的内容,我们没有请求获取到,这个在下篇博文解决;
3,下一篇博文在IDE中写代码,按照企业级项目进行;
4,调度系统和web以及可视化部分未完成;
**小马哥正在为Python的所有常见知识进行汇总,更会有大量实战项目**
**点击-->全栈工程师养成---Python内容导航页<--查看所有Python内容**
