scrapy demo

试着使用scrapy爬一个书本信息网站，存到本地csv文件（也可以json）。

安装scrapy：

python3 -m pip install scrapy 

本质其实就是定义自己的spider及其行为, 需要从scrapy里的Spider类继承下来。新建webscraping-srapy.py如下

import scrapy

url = "http://books.toscrape.com/"

class BookSpider(scrapy.Spider):
    name = "bookspider"
    # def start_requests(self):
    #     urls = ['http://xx','http://xx']
    #     for url in urls:
    #         yield scrapy.Request(url=url, callback=self.parse)
    # 其实不需要override 此函数而是直接定义start_requests()会默认使用的start_urls list
    start_urls = [url] 

    def parse(self, response):
        for article in response.css("article.product_pod"):
            yield {
                "price": article.css(".price_color::text").extract_first(), # or use .get() but getall() will return a list
                "title": article.css("h3 > a::attr(title)").extract_first()
            }
        import pdb; pdb.set_trace() # 调试

        #next = response.css(".next > a::attr(href)").extract_first()
        #selector可以直接传入， 而且不需要写attr(href) 因为对于<a> element默认解析attr的值
        next = response.css(".next > a")[0] 
        if next:
            #笨办法是生成完整路径再继续yield Request
            #next_page = response.urljoin(next_page)
            #yield scrapy.Request(next_page, callback=self.parse)
            yield response.follow(next, self.parse)

假设我本地存下来到books.csv, 命令行是

scrapy runspider -o books.csv webscraping-srapy.py --pdb

最后说下，可以自己用scrapy shell 去做一些scraping, extract信息出来验证下，个人比后面用pdb效率高些：

scrapy shell 'http://books.toscrape.com/'