改装的重点有三个 1.setting配置文件 2.启动指令改变 3. 继承 RedisCrawlSpider 类
1.setting文件配置
# 使用的是scrapy_redis的去重类
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 调度器使用是scrapy_redis的调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 爬取的过程中是否允许暂停
SCHEDULER_PERSIST = True
# 连接redis数据库 (REDIS_HOST 填写的是:(主机端)master端 的 地址 )
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379
在 管道配置中 添加一个scrapy_redis 管道 运行优先级 自己视情况设定
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline': 400,
}
# 最大并发请求量(只有在无delay时 才能实现)
CONCURRENT_REQUESTS = 32
# 下载延迟(建议开启延迟,当多台设备同时分布式爬取的时候,很容易让所爬取网站的服务器蹦掉的)
# DOWNLOAD_DELAY = 1
2.启动指令改变
scrapy crawl xxxx ==> scrapy runspider xxxx.py
运行位置也有所改变
scrapy.cfg同级文件夹下 ==》 xxxx.py同级文件夹下
3.继承 RedisCrawlSpider 类
首先引入一个scrapy.redis.spider 模块:
from scrapy_redis.spiders import RedisCrawlSpider
#分布式中没有了起始url 取而代之 的是:redis_key
class AgentSpider(RedisCrawlSpider):
name = 'Agent'
# allowed_domains = ['[fuwu.weimob.com.cn](http://fuwu.weimob.com.cn/)']
# start_urls = ['[http://fuwu.weimob.com.cn/product_list.html/](http://fuwu.weimob.com.cn/product_list.html/)']
redis_key = 'agent:start_urls'
如果没有成功 运行程序没有等待或者报错name就是继承错误
如果输入了lpush xxxx:start_urls http:\xxxxx 程序还是不运行就是xxxx:start_urls 设置和输入的不一致
-----------------------------------------------------------------------------------
下面是我自己项目中涉及到的延伸
如果起始有大量的url需要处理
比如有100万个查询想用分布式的方法去完成 这种起始url非常大量的情况
网上没有相关的解决方案 我的解决方法就是通过一个python脚本 将所有的url 通过lpush指令导入到起始url队列中去
主要用到的就是一个lpush指令(http://www.runoob.com/redis/lists-lpush.html)
后面有时间就给补上具体步骤
redis_key = 'agent:start_urls' 类似于 scrapy中的start_urls 只不过redis_key是redis中一个以agent:start_urls为名字的数据表 所以就相当于把之前start_urls中的数据 放到redis数据库中
