1. 安装
pip install scrapy-redis
2. 配置
在 settings.py 中对 redis 进行配置
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = Ture
SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
REDIS_URL = None //目前可有可无
REDIS_HOST = '127.0.0.1' //'''此处是 redis 的ip，配置在本机时为127.0.0.1或localhost'''
REDIS_PORT = 6379 // 默认端口
3. 使用
在爬虫的.py文件中，爬虫类要继承RedisSpider，即：
class xxSpider(RedisSpider):
会将爬取到的数据首先存 redis， 然后再在 redis 中读取， 类似将 redis 视为一个队列，不断的存入不断拿取。
