按照我的理解,这段程序有问题,因为在做rule匹配的时候,cookiejar并没有传给request,所以虽然登录成功了,但是后续匹配的request都并没有传递meta={'cookiejar':response.meta['cookiejar']},因此需要复写_requests_to_follow函数
Scrapy基础——CrawlSpider详解写在前面 在Scrapy基础——Spider中,我简要地说了一下Spider类。Spider基本上能做很多事情了,但是如果你想爬取知乎或者是简书全站的话,你可能需要一个更强大...