欢迎大家关注公众号【哈希大数据】
在本篇分享中，假定您已经安装好Scrapy。 如若不然，请参考Scrapy安装。接下来将通过爬取scrapy官方提供的一个网站，演示如何利用scrapy爬取网页信息。可能有的朋友有疑问，之前已经介绍过requests库，为啥还要用scrapy呢？简单来讲就是requests库适合小批量爬取网页内容，如若需要高频次、大批量爬取网页还是scrapy比较好用，而且很多公司要求熟练掌握scrapy框架，所以技多不压身嘛，接下来咱们就好好学学scrapy。
爬取流程分析
目标网站：http://quotes.toscrape.com/
爬取目标：获取所有名言、其作者和标签
爬取流程：首先获取首页目标信息，其次注意到页面中存在下一页的链接，采用递归调用的方式进行翻页爬取，最后保存爬取信息。
接下来介绍如何用scrapy框架实现以上流程。
创建项目
在开始爬取之前，您必须创建一个新的Scrapy项目。 在命令窗口中进入您打算存储代码的目录中，运行下列命令:
scrapy startproject tutorial quotes.toscrape.com
该命令将会创建包含下列内容的 tutorial 目录:
tutorial/
scrapy.cfg
tutorial/
init.py
items.py
pipelines.py
settings.py
spiders/
init.py
...
这些文件分别是:
scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.
定义Item
Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
类似在ORM中做的一样，您可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field 的类属性来定义一个Item。 (如果不了解ORM, 不用担心，您会发现这个步骤非常简单)
首先根据需要从quotes.toscrape获取到的数据对item进行建模。 我们需要从quotes.toscrape中获取名言，作者以及标签。 对此，在item中定义相应的字段。编辑 tutorial 目录中的 items.py 文件:
import scrapyclass QuoteItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() text = scrapy.Field() author = scrapy.Field() tags = scrapy.Field()
一开始这看起来可能有点复杂，但是通过定义item， 您可以很方便的使用Scrapy的其他方法。而这些方法需要知道您的item的定义。
编写第一个爬虫（Spider）
命令窗口中，在 tutorial/spiders 目录下，输入命令：
scrapy genspider quotes quotes.toscrape.com
在该目录下得到quotes.py文件，初始代码如下：
# -*- coding: utf-8 -*-import scrapyclass QuotesSpider(scrapy.Spider): name = "quotes" allowed_domains = ["quotes.toscrape.com"] start_urls = ['http://quotes.toscrape.com/'] def parse(self, response): pass
完成爬取任务的完整代码如下：
# -*- coding: utf-8 -*-import scrapyfrom quotetutorial.items import QuoteItemclass QuotesSpider(scrapy.Spider): # spider的名字，该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。 name = "quotes" allowed_domains = ["quotes.toscrape.com"] # 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。 start_urls = ['http://quotes.toscrape.com/'] # parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。 def parse(self, response): # 从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制，有以下四个基本方法： #1\. xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。 #2\. css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表. #3\. extract(): 序列化该节点为unicode字符串并返回list。 #4\. re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。 quotes = response.css('.quote') for quote in quotes: item = QuoteItem() text = quote.css('.text::text').extract_first() author = quote.css('.author::text').extract_first() tags = quote.css('.tags .tag::text').extract() item['text'] = text item['author'] = author item['tags'] = tags yield item # 获取下一页的链接 next = response.css('.pager .next a::attr(href)').extract_first() # 补全链接 url = response.urljoin(next) # 利用Request函数实现递归调用parse解析下一页内容 yield scrapy.Request(url=url, callback=self.parse)
提取数据
从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制，有以下四个基本方法：
xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
extract(): 序列化该节点为unicode字符串并返回list。
-
re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。
具体的用法及语法格式可查看：http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/selectors.html#topics-selectors
爬取并保存爬取到的数据
进入项目根目录，执行以下命令启动爬虫：
scrapy crawl quotes -o items.json #保存为json格式
scrapy crawl quotes -o items.jl #保存为json格式
scrapy crawl quotes -o items.csv #保存为json格式
这是简单的保存几种数据的方法，后面分享如何将数据保存到MongoDB数据库中。
小结
本次分享简单介绍Python重要的爬虫框架scrapy如何入门，如何创建项目，编写第一个爬虫，提取数据，保存数据，后面会用scrapy框架编写一个爬取新闻的爬虫，届时将分享如何将数据保存到MongoDB数据库中。
