Python爬虫实战二 | 抓取小说网完结小说

   大家都知道,在小说网站看小说总是各种广告,想要下载小说然而却要么需要钱,要么需要会员,如此,我们不妨写一个小说爬虫,将网页上的小说内容章节全部抓取下来,整理成为一本完整的txt文件,这样岂不是一件很愉快的事情!

第一只爬虫:

第一只爬虫效果

    第一只爬虫,在urlChange()函数处理网址变化,然而到了最后,小东发现,原来小说的每一章节不是按照序号顺次排列的,老阔痛!!!哈哈~

   那么我们该如何解决那?想到每一章节的网页都有下一章的按钮,由此,我们可以抓取下一章的网页地址,如此反复即可!

下面请看第二只升级版的爬虫V1.1:

这样就好多了

  其中getContent()用到了递归的思想,OK,这只升级版镶钻水晶奢华配置爬虫就算写好了!

欢迎各位上Github下载!

注:本文属于原创文章,转载请注明本文地址!

作者QQ:1099718640

CSDN博客主页:http://blog.csdn.net/dyboy2017

Github开源项目:https://github.com/dyboy2017/novel_spider

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容