python爬虫完整步骤
一、爬虫主题:
爬取网络小说(目录和内容),保存在本地或数据库中。
url网址:http://www.shuge.net/html/104/104326/
小说题目:二狗的人生
二、涵盖知识点 :
1、库的引用
2、网页请求
3、内容解析(正则表达式)
4、文件保存
5、面向对象方法
三、环境准备:
本人采用的是win10系统,pycharm开发环境,python3.5版本语言,mysql5.7版本数据库。
不同版本会有所差别,注意细节。
四、正式开始:
需要用到的库:urllib(对应python3版本),re(正则),pymysql(对应python3版本)
上图:
1,
2,![屏幕截图(4).jpg](https://upload-images.jianshu.io/upload_images/12626355-830b097832310702.jpg?imageMogr2
/auto-orient/strip%7CimageView2/2/w/1240)
3,
4,
5,保存在本地结果显示:
6,保存在数据库显示:
五,评点:
上传的图片不知道大家看不看得到,因为想到转成文字可能会很多,所以就传的图片,仅供来分享和参考。区区50行代码,就能做出一个完整系列的爬虫,就本身也是一个菜鸟来说,还是有一点小小的成就感。有需要的可以保存,值得交流的地方欢迎随时探讨学习经验,再见@