240 发简信
IP属地:浙江
  • 按照我的理解,这段程序有问题,因为在做rule匹配的时候,cookiejar并没有传给request,所以虽然登录成功了,但是后续匹配的request都并没有传递meta={'cookiejar':response.meta['cookiejar']},因此需要复写_requests_to_follow函数

    Scrapy基础——CrawlSpider详解

    写在前面 在Scrapy基础——Spider中,我简要地说了一下Spider类。Spider基本上能做很多事情了,但是如果你想爬取知乎或者是简书全站的话,你可能需要一个更强大...

  • Anaconda使用总结

    Anaconda使用总结 2016.7.19 PeterYuan 序 Python易用,但用好却不易,其中比较头疼的就是包管理和Python不同版本的问题,特别是当你使用Wi...