写在开始之前
按照上一篇介绍过的 scrapy爬虫的创建顺序，我们开始爬取壁纸的爬虫的创建。
首先，我们先过一遍 scrapy爬虫的创建顺序：
- 第一步：确定要在pipelines里进行处理的数据，写好items文件
- 第二步：创建爬虫文件，将所需要的信息从网站上爬取下来，并传递给pipelines文件处理
- 第三步：pipelines接收spiders传递过来的数据，并做出相应的处理，如：壁纸的下载和保存
- 第四步：一定要记得在settings开启pipelines
在开始之前，我们先按照上面的步骤来分析一下代码怎么写：
第一步：确定我们要爬取的网站，在百度上随便找一个，
zol：http://desk.zol.com.cn/dongman/1920x1080/，
这是zol的动漫板块，自己练手的话可以另外找一个。-
第二步：确定items，我们要下载壁纸并且按照网站上的名字进行命名。
下载壁纸需要获取壁纸的链接 image_url，命名需要壁纸的名字 image_name
第三步：编写spiders的代码从网页中获取我们image_url和image_name
第四步：下载图片并命名保存
第五步：到settings里开启pipelines
下面正式开始敲代码<(￣︶￣)↗[GO!]
一、创建scrapy爬虫项目
打开命令行，依次输入如下命令：
#创建scrapy爬虫项目
scrapy startproject bizhi_zol
#打开新创建的爬虫项目
cd bizhi_zol
#在项目里创建spiders，domain为desk.zol.com.cn
scrapy genspider zol "desk.zol.com.cn"
二、items.py
项目创建完成后，我们按照上面的顺序，先写items
# -*- coding: utf-8 -*-
#items.py
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class BizhiZolItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
image_url = scrapy.Field()
image_name = scrapy.Field()
三、spiders
这一步可以说是整个爬虫里最重要的一步了
首先我们先分析网页结构，打开网址：http://desk.zol.com.cn/dongman/1920x1080/
查看元素后发现壁纸链接全在ul标签下
xpath路径如下：
#注意！！！
#pic-list2（两个空格）clearfix
//ul[@class="pic-list2 clearfix"]/li/a
通过xpath我们得到的是壁纸下载页面的链接
再通过链接获取壁纸下载页面，再在下载页面内获得壁纸链接和名字
细节不再赘述，xpath路径如下：
#内容详情页 获取壁纸名字
//a[@id="titleName"]/text()
#内容详情页 获取壁纸下载页面
#//dd[@id="tagfbl"]/a[@id="1920x1200"]/@href
//dd[@id="tagfbl"]/a[1]/@href
#壁纸下载页 获取壁纸下载链接
//body/img[1]/@src
spiders代码如下：
# -*- coding: utf-8 -*-
#zol.py
import scrapy
from bizhi_zol.items import BizhiZolItem
class ZolSpider(scrapy.Spider):
name = 'zol'
#allowed_domains = ['desk.zol.com.cn']
start_urls = ['http://desk.zol.com.cn/dongman/1920x1080/']
#主站链接 用来拼接网址
base_site = 'http://desk.zol.com.cn'
def parse(self, response):
#获取内容详情页链接
load_page_urls = response.xpath('//ul[@class="pic-list2 clearfix"]/li/a/@href').extract()
for load_page_url in load_page_urls:
url = self.base_site + load_page_url
#获取内容详情页页面 交给getInfo处理
print(url)
yield scrapy.Request(url, callback=self.getInfo)
def getInfo(self, response):
#定义item储存信息
item = BizhiZolItem()
#获取壁纸名字
item['image_name'] = response.xpath('//a[@id="titleName"]/text()').extract()[0]
print(item['image_name'])
#获取壁纸下载页面链接
#load_page = self.base_site + response.xpath('//dd[@id="tagfbl"]/a[@id="1920x1200"]/@href').extract()[0]
#测试时发现并不是所有的壁纸都有1920x1200的分辨率，所以将代码修改如下，获得壁纸最大分辨率的链接
load_page = self.base_site + response.xpath('//dd[@id="tagfbl"]/a[1]/@href').extract()[0]
#获取壁纸下载页面 并将item作为参数传递给getLoadUrl
request = scrapy.Request(load_page, callback=self.getLoadUrl)
request.meta['item'] = item
yield request
def getLoadUrl(self, response):
#接收参数
item = response.meta['item']
#获取壁纸下载链接
item['image_url'] = response.xpath('//body/img[1]/@src').extract()[0]
#将item传递给pipelines处理
yield item
四、pipelines.py
我们已经通过 spiders获得了图片的名字和链接，接下来我们只要下载图片然后再命名保存即可。
下载图片和之前的下载小说不同，这里要用到 ImagesPipeline中的 get_media_requests 方法来进行下载。
这里简单介绍一下get_media_requests方法：
选中get_media_requests然后转到定义，可以看到get_media_requests方法的原型为：
def get_media_requests(self, item, info):
return [Request(x) for x in item.get(self.images_urls_field, [])]
可以看到get_media_requests有三个参数，
第一个是self，这个不必多说；
第二个是 item，这个就是 spiders传递过来的 item
第三个是 info，看名字就知道这是用来保存信息的，至于是什么信息，info其实是一个用来保存保存图片的名字和下载链接的列表
但是我们想要重命名的话必须得有图片的路径，这时候就需要 item_completed方法了，原型如下：
def item_completed(self, results, item, info):
if isinstance(item, dict) or self.images_result_field in item.fields:
item[self.images_result_field] = [x for ok, x in results if ok]
return item
注意到 item_completed里有个 results参数，results参数保存了图片下载的相关信息，我们将它打印出来看看：
[(True, {'url': 'https://desk-fd.zol-img.com.cn/t_s1920x1200c5/g5/M00/01/04/ChMkJ1q2H1-IDTMjAAT0D9iUubUAAm_uwJN1eoABPQn240.jpg', 'path': 'full/fedfedc2f28c22996af50ff8d4759e7031950517.jpg', 'checksum': '06bde14f40a64c288bd251ebbe17bc1e'})]
了解了这些后，问题就简单了。
我们只需要在 get_media_requests 中 scrapy.Request() 发起请求，然后 scrapy会自动将图片下载并保存。
当图片下载完成之后，我们再对图片重命名即可。
代码如下:
# -*- coding: utf-8 -*-
#pipelines.py
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
from scrapy.pipelines.images import ImagesPipeline
from bizhi_zol.settings import IMAGES_STORE as image_store
import scrapy
import os
class BizhiZolPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
#发起壁纸下载请求
yield scrapy.Request(item['image_url'])
def item_completed(self, results, item, info):
#对壁纸进行重命名
os.rename(image_store + '/' + results[0][1]['path'], image_store + '/' + item['image_name'] + '.jpg')
def __del__(self):
#完成后删除full目录
os.removedirs(image_store + '/' + 'full')
五、settings.py
这里 settings文件需要注意的是，要添加一个 IMAGES_STORE变量来设置图片下载的目录，其他的设置不再多说，贴上代码：
#settings.py
BOT_NAME = 'bizhi_zol'
SPIDER_MODULES = ['bizhi_zol.spiders']
NEWSPIDER_MODULE = 'bizhi_zol.spiders'
IMAGES_STORE = './IMAGE'
# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'bizhi_zol.pipelines.BizhiZolPipeline': 300,
}
写到这里整个爬虫程序就完成了，不过这个爬虫程序只能爬取一页的壁纸，不能够自动翻页。
要实现自动翻页，就留给读者自己动脑筋了
ps: 自动翻页很简单，只需在原来代码的基础上增加几行代码就可以了
