Scrapy_Redis分布式爬虫

pip3 install scrapy-redis

Scrapy-redis提供了四种组件（components）：

(四种组件意味着这四个模块都要做相应的修改)

Scheduler

Scrapy中跟“待爬队列”直接相关的就是调度器Scheduler，它负责对新的request进行入列操作（加入Scrapy queue），取出下一个要爬取的request（从Scrapy queue中取出）等操作。它把待爬队列按照优先级建立了一个字典结构。

Duplication Filter

Scrapy中用集合实现这个request去重功能，Scrapy中把已经发送的request指纹放入到一个集合中，把下一个request的指纹拿到集合中比对，如果该指纹存在于集合中，说明这个request发送过了，如果没有则继续操作。

在scrapy-redis中去重是由Duplication Filter组件来实现的，它通过redis的set 不重复的特性，巧妙的实现了Duplication Filter去重。scrapy-redis调度器从引擎接受request，将request的指纹存⼊redis的set检查是否重复，并将不重复的request push写⼊redis的 request queue。

引擎请求request(Spider发出的）时，调度器从redis的request queue队列⾥里根据优先级pop 出⼀个request 返回给引擎，引擎将此request发给spider处理。

Item Pipeline

引擎将(Spider返回的)爬取到的Item给Item Pipeline，scrapy-redis 的Item Pipeline将爬取到的 Item 存⼊redis的 items queue。

修改过Item Pipeline可以很方便的根据 key 从 items queue 提取item，从⽽实现 items processes集群。

Base Spider

不在使用scrapy原有的Spider类，重写的RedisSpider继承了Spider和RedisMixin这两个类，RedisMixin是用来从redis读取url的类。

当我们生成一个Spider继承RedisSpider时，调用setup_redis函数，这个函数会去连接redis数据库，然后会设置signals(信号)：

一个是当spider空闲时候的signal，会调用spider_idle函数，这个函数调用schedule_next_request函数，保证spider是一直活着的状态，并且抛出DontCloseSpider异常。

一个是当抓到一个item时的signal，会调用item_scraped函数，这个函数会调用schedule_next_request函数，获取下一个request。

Scrapy_redis式工作流程

Scrapy_Redis式工作流程.png

修改设置文件

（１）设置去重组件,使用的是scrapy_redis的去重组件,而不再使用scrapy框架自己的去重组件了

  DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

（２）设置调度器,使用的是scrapy_redis重写的调度器,而不再使用scrapy框架自带的调度器了

  SCHEDULER = "scrapy_redis.scheduler.Scheduler"

（３）可以实现断点爬取（请求的记录不会丢失,会存储在redis数据库中,不会清除redis的任务队列）

  SCHEDULER_PERSIST = True

（４）设置任务队列的模式（三选一）

SpiderPriorityQueue是scrapy_redis默认使用的队列模式
 (有自己的优先级)
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"

使用了队列的形式,任务先进先出
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"

采用了栈的形式,任务先进后出
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"

（５）实现这个管道,可以将爬虫端获取的item数据,统一保存在redis数据库中

'scrapy_redis.pipelines.RedisPipeline': 400,

（６）指定要存储的redis数据库的主机ip

REDIS_HOST = '127.0.0.1'

指定redis数据库主机的端口
REDIS_PORT = 6379

"xcfCrawlSpider:requests"：存储的是请求的request对象
"xcfCrawlSpider:items":存储的爬虫端获取的items数据
"xcfCrawlSpider:dupefilter"：存储的指纹(为了实现去重)
127.0.0.1:6379> type xcfCrawlSpider:requests
zset
127.0.0.1:6379> type xcfCrawlSpider:items
list
127.0.0.1:6379> type xcfCrawlSpider:dupefilter
set

第一种情况：只设置settings.py文件,并没有实现分布式,知识使用了sctapy_redis的数据存储和去重功能

第二种情况：实现通用爬虫的分布式爬虫

from scrapy_redis.spiders import RedisCrawlSpider

#继承制：RedisCrawlSpider
class MyCrawler(RedisCrawlSpider):
  """Spider that reads urls from redis queue (myspider:start_urls)."""
  name = 'mycrawler_redis'
  allowed_domains = ['dmoz.org']
  #缺少了start_url,多了redis_key:根据redis_key从redis
  #数据库中获取任务
  redis_key = 'mycrawler:start_urls'

启动爬虫：scrapy crawl 爬虫名称
现象:爬虫处于等待状态

需要设置起始任务：
lpush mycrawler:start_urls 目标url

第三中情况：实现scrpy.spider爬虫的分布式爬虫

from scrapy_redis.spiders import RedisSpider

#继承制：RedisSpider
class MyCrawler(RedisSpider):
  """Spider that reads urls from redis queue (myspider:start_urls)."""
  name = 'mycrawler_redis'
  allowed_domains = ['dmoz.org']
  #缺少了start_url,多了redis_key:根据redis_key从redis
  #数据库中获取任务
  redis_key = 'mycrawler:start_urls'

启动爬虫：scrapy crawl 爬虫名称
现象:爬虫处于等待状态

需要设置起始任务：
lpush mycrawler:start_urls 目标url

仅为个人学习小结，若有错处，欢迎指正~