Scrapy 优化（基于 Redis 和 Bloomfilter）小记

0 背景

最近在研究网络爬虫，用到了 Scrapy，对于一些定向爬虫没有遇到太大的麻烦，于是我尝试做了一个全网爬虫，只取网页的 title，description 和 keywords 等简单信息。

很快就完成了，然后放在那边让它慢慢爬，但是过两天发现 redis 内存占用达到了 80%！占用最多的是 dupefilter 和 requests 两个 key。于是在网上搜索 scrapy 的优化方案。

1 优化

优化步骤主要参考的是：基于Redis的Bloomfilter去重（附Python代码）和他的后续两篇文章。

采用 Bloom filter 代替 scrapy_redis 中的 RFPDupeFilter
简化种子队列中的存储结构

作者还很大方的把他的代码开源了，我当然也就很大方的拿来用了，不过使用过程中遇到一些问题。

2 问题

scrapy 连接失败重试的次数 RETRY_TIMES 默认值是 2，但是查看日志：

Retrying <get http:="" www.abc.com=""> (failed 1 times):
Retrying <get http:="" www.def.com=""> (failed 1 times):
...
Retrying <get http:="" www.abc.com=""> (failed 1 times):
Retrying <get http:="" www.def.com=""> (failed 1 times):

每个失败的连接都在不停的重试，而且重试次数一直 1，没有增加。

scrapy 最大跳转的次数 REDIRECT_MAX_TIMES 默认值是 20，正常情况下不会达到上限，直到遇到这个域名：31632.wx.shangjiadao.com。日志里满是：

Redirecting (302) to <get http:="" 31632.wx.shangjiadao.com="" sjd_a44e7bea97a8da936d6d6127a54fca71=""> from <get http:="" 31632.wx.shangjiadao.com="" sjd_971c17241a5a1f07cc0070450a935de0="">
Redirecting (302) to <get http:="" 31632.wx.shangjiadao.com="" sjd_ae83bbb34613a61dd98b0bc214c06fa7=""> from <get http:="" 31632.wx.shangjiadao.com="" sjd_a44e7bea97a8da936d6d6127a54fca71="">

就是对于这一类域名（数字+.wx.shangjiadao.com），会不停的生成新的链接让爬虫跳转，日志里都是这样的跳转就说明跳转次数也没有增加。

3 解决

我跟踪这两个设置 RETRY_TIMES 和 REDIRECT_MAX_TIMES 在代码中的调用，查到他们对应的计数变量 retry_times 和 redirect_times 都是存在 request.meta 中的，但是文章作者在种子队列中只存了 url 和 callback 函数，meta 变量并没有存，导致 scrapy 每次从队列中取出的 request 都相当于初次请求，当然就会出现上面两个问题。

解决办法就是把 meta 也存进种子队列中：

def simple_request_to_dict(request, spider=None):
    """Convert Request object to a dict.

    If a spider is given, it will try to find out the name of the spider method
    used in the callback and store that as the callback.
    """
    #cb = request.callback
    #if callable(cb):
    #    cb = _find_method(spider, cb)
    d = {
        'url': to_unicode(request.url),  # urls should be safe (safe_string_url)
        #'callback': cb,
        'meta': request.meta,
    }
    if type(request) is not Request:
        d['_class'] = request.__module__ + '.' + request.__class__.__name__
    return d

def simple_request_from_dict(d, spider=None):
    """Create Request object from a dict.

    If a spider is given, it will try to resolve the callbacks looking at the
    spider for methods with the same name.
    """
    #cb = d['callback']
    #if cb and spider:
    #    cb = _get_method(spider, cb)
    request_cls = load_object(d['_class']) if '_class' in d else Request
    return request_cls(
        url=to_native_str(d['url']),
        #callback=cb,
        meta=d['meta'])


class SimpleFifoQueue(FifoQueue):
    """Per-spider simple (url + callback + meta) FIFO queue, meta is important to scrapy"""

    def _encode_request(self, request):
        """Encode a request object"""
        obj = simple_request_to_dict(request, self.spider)
        return self.serializer.dumps(obj)

    def _decode_request(self, encoded_request):
        """Decode an request previously encoded"""
        obj = self.serializer.loads(encoded_request)
        return simple_request_from_dict(obj, self.spider)

直接复用 scrapy_redis 中的 FifoQueue（原文作者的代码基本就是这个意思），然后重写 request 和字典转换的函数（我只有一个 callback 函数 parse，于是 callback 也省了，要用的话把注释去掉就行）。

Mission accomplished.

最后编辑于：2017.12.25 17:51:38