python学习 三 03 再爬一个网站,根据分页,下载图片
python学习 二 02 爬一个图片网站,获得主链接网址,并保存
python学习 二 03 爬一个图片网站-获得所有分页网址
python学习 二 04 爬一个图片网站-解析文件,获得所有图片链接
python学习 三 01 再爬一个网站,几行代码,搞定分类类别
根据所有分页文件,下载图片
书接上回,我们已经递归创建了类别,获得了所有分页信息,下一步就是根据分页信息获得所有的图片。
为此,我们再看看网页,红线部分的图片,就是我们要抓取的图片。
看下对应的源码:
也就是说,我们要获取这个div下的所有IMG标签
为此写了个获得指定DIV下所有IMG标签的函数
分两步,第一步,找到分页文件
第二步,解析分页文件,并下载img
这其中又涉及到了解析,解析部分我想单独放在一个文件中,这个文件就是作为封装各种解析来用的。
最后就是多线程方式下载,
下载我也单独放到一个文件中了,这个文件打算主要做下载用
总结: 下载网站中的图片,分成三个步骤:
1、 根据网站类别,创建本地类别
2、 获得所有分页
3、 根据分页,下载图片
至此,爬图片过程,就告一阶段,下节主要介绍下,这一阶段所用的知识及逻辑组织方式