scrapy
安装
pip install scrapy
框架由5部分组成：
引擎、下载器、spiders、调度器(schedule)、管道(pipeline)
创建scrapy项目
scrapy startproject myscrapy
settings文件中修改是否遵循robots协议
ROBOTSTXT_OBEY = False
创建spider,自动生成first.py
scrapy genspider frist first.com
Spider 属性
name: Spider名字
allowed_domains: 允许爬取的域名
start_urls: Spider启动时爬取的url列表
parse: 负责解析返回的响应，提取数据或进⼀步处理
运行
scrapy crawl football
保存到文件
scrapy crawl first -o first.json
scrapy基于lxml构建，支持xpath，css，正则表达式
Spider
1、 name：爬⾍的名字。
2、 allowed_domains：允许爬取的域名，不在此范围的链接不会被跟进爬取。
3、 start_urls：起始URL列表，当我们没有重写start_requests()⽅法时，就会从这个列表开始爬取。
4、 custom_settings：⽤来存放蜘蛛专属配置的字典，这⾥的设置会覆盖全局的设置。
5、 crawler：由from_crawler()⽅法设置的和蜘蛛对应的Crawler对象， Crawler对象包含了很多项⽬组件，利⽤它我们可以获取项⽬的配置信息，如调⽤crawler.settings.get()⽅法。
6、 settings：⽤来获取爬⾍全局设置的变量。
7、 start_requests()：此⽅法⽤于⽣成初始请求，它返回⼀个可迭代对象。该⽅法默认是使⽤GET请求访问起始URL，如果起始URL需要使⽤POST请求来访问就必须重写这个⽅法，发送POST请求使⽤FormRequest⽅法
8、 parse()：当Response没有指定回调函数时，该⽅法就会被调⽤，它负责处理Response对象并返回结果，从中提取出需要的数据和后续的请求，该⽅法需要返回类型为Request或Item的可迭代对象（⽣成器当前也包含在其中，因此根据实际需要可以⽤return或yield来产⽣返回值）。
9、 closed()：当蜘蛛关闭时，该⽅法会被调⽤，通常⽤来做⼀些释放资源的善后操作。
middleware
1、调度器将Request发给Downloader下载之前，可以对Request进⾏修改process_request(request, spider)
2、下载后⽣成的Response发给Spider之前，可以对Response进⾏修改process_response(request, response, spider)
3、 Downloader或process_request()⽅法异常process_exception(request, exception, spider)
Pipeline
Image pipeline
get_media_requests(self,item, info)：
ImagePipeline根据image_urls中指定的url进⾏爬取，可以通过get_media_requests为每个
url⽣成⼀个Request。如：
for image_url in item[‘image_urls’]:
self.default_headers[‘referer’] = image_url
yield Request(image_url, headers=self.default_headers)
item_completed(self, results, item, info)：
图⽚下载完毕后，处理结果会以⼆元组的⽅式返回给item_completed()函数。这个⼆元组定义
如下：
(success, image_info_or_failure)
其中，第⼀个元素表示图⽚是否下载成功；第⼆个元素是⼀个字典。如：
def item_completed(self, results, item, info):
image_paths = [x[‘path’] for ok, x in results if ok]
if not image_paths:
raise DropItem(“Item contains no images”)
item[‘image_paths’] = image_paths
return item
分布式爬虫
爬取队列：使⽤Redis列表或有序集合 (默认是redis有序集合)
去重：使⽤Redis集合保存Request的指纹，提供重复过滤
中断续爬：调度器从Redis队列中取上次没有爬的继续爬取
使用分布式
安装scrapy-redis
pip install scrapy-redis
redis
有序集合，在集合的基础上，为每元素排序；元素的排序需要根据另外⼀个值来进⾏⽐较，所
以，对于有序集合，每⼀个元素有两个值，即：值和分数，分数专⻔⽤来做排序。
