Scrapy是一个非常强大的爬虫框架，只需极少代码便可应付一个简单爬虫。但如果需要几十万几百万的数据量，中间一旦有中断，重新爬取则太浪费时间。本...