pip install scrapy-redis
修改设置文件
（1）设置去重组件，使用的是scrapy-redis的去重组件，而不再使用scrapy框架自己的去重组建了
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
（2）设置调度器，使用的是crapy-redis重写的调度器，而不再使用scrapy框架自带的调度器了
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
（3）可以实现断点爬取（请求的记录不会丢失，会存储在Redis数据库中，不会清楚Redis的任务队列）
SCHEDULER_PERSIST = True
（4）设置任务队列的模式（三选一）
#SpiderPriorityQueue是scrapy_redis默认使用的队列模式
(有自己的优先级)
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
使用了队列的形式,任务先进先出
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"
采用了栈的形式,任务先进后出
#SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"
（5）实现这个管道，可以将爬虫端获取的item数据，统一保存在Redis数据库中
'scrapy_redis.pipelines.RedisPipeline': 400,
（6）指定要存储的redis数据库的主机ip
REDIS_HOST = '127.0.0.1'
指定redis数据库主机的端口
REDIS_PORT = 6379
"xcfCrawlSpider:requests"：存储的是请求的request对象
"xcfCrawlSpider:items":存储的爬虫端获取的items数据
"xcfCrawlSpider:dupefilter"：存储的指纹(为了实现去重)
127.0.0.1:6379> type xcfCrawlSpider:requests
zset
127.0.0.1:6379> type xcfCrawlSpider:items
list
127.0.0.1:6379> type xcfCrawlSpider:dupefilter
set
第一中情况：只设置settings.py文件,并没有实现分布式,知识使用了sctapy_redis的数据存储和去重功能
第二中情况：实现通用爬虫的分布式爬虫
from scrapy_redis.spiders import RedisCrawlSpider
#继承制：RedisCrawlSpider
class MyCrawler(RedisCrawlSpider):
"""Spider that reads urls from redis queue (myspider:start_urls)."""
name = 'mycrawler_redis'
allowed_domains = ['dmoz.org']
#缺少了start_url,多了redis_key:根据redis_key从redis
#数据库中获取任务
redis_key = 'mycrawler:start_urls'
启动爬虫：scrapy crawl 爬虫名称
现象:爬虫处于等待状态
需要设置起始任务：
lpush mycrawler:start_urls 目标url
第三中情况：实现scrpy.spider爬虫的分布式爬虫
from scrapy_redis.spiders import RedisSpider
#继承制：RedisSpider
class MyCrawler(RedisSpider):
"""Spider that reads urls from redis queue (myspider:start_urls)."""
name = 'mycrawler_redis'
allowed_domains = ['dmoz.org']
#缺少了start_url,多了redis_key:根据redis_key从redis
#数据库中获取任务
redis_key = 'mycrawler:start_urls'
启动爬虫：scrapy crawl 爬虫名称
现象:爬虫处于等待状态
需要设置起始任务：
lpush mycrawler:start_urls 目标url
