Day01_Scrapy入门

1、创建项目

在开始爬取之前，您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令:

# scrapy startproject mypro1

该命令将会创建包含下列内容的 mypro1 目录:

[root@yyzh_tenv mySpider]# tree mypro1/
mypro/
|-- mypro
|   |-- __init__.py
|   |-- items.py
|   |-- middlewares.py
|   |-- pipelines.py
|   |-- settings.py
|   `-- spiders
|       `-- __init__.py
`-- scrapy.cfg

2 directories, 7 files

2、定义Item

Item 是保存爬取到的数据的容器；其使用方法和python字典类似。虽然您也可以在Scrapy中直接使用dict，但是 Item 提供了额外保护机制来避免拼写错误导致的未定义字段错误。它们也可以与Item loader一起使用，后者是一种带有helpers的机制，可以方便地填充条目。

类似在ORM中做的一样，您可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field 的类属性来定义一个Item。

首先根据需要从dmoz.org获取到的数据对item进行建模。 我们需要从mypro中获取名字，url，以及网站的描述。 对此，在item中定义相应的字段。编辑 tutorial 目录中的 items.py 文件:

import scrapy

class DmozItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

一开始这看起来可能有点复杂，但是通过定义item， 您可以很方便的使用Scrapy的其他方法。而这些方法需要知道您的item的定义。

3、编写第一个爬虫（Spider）

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。

其包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容， 提取生成 item 的方法。

为了创建一个Spider，您必须继承 scrapy.Spider 类， 且定义一些属性:

  • name: 用于区别Spider。 该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。
  • start_urls: 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
  • parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

以下为我们的第一个Spider代码，保存在 mypro1/spiders 目录下的 mypro1_spider.py 文件中:

import scrapy

class DmozSpider(scrapy.Spider):
    name = "mypro1"
    allowed_domains = ["mypro1.org"]
    start_urls = [
        "http://www.mypro1.org/Computers/Programming/Languages/Python/Books/",
        "http://www.mypo1.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2] + '.html'
        with open(filename, 'wb') as f:
            f.write(response.body)

4、爬取

进入项目的根目录，执行下列命令启动spider:

# scrapy crawl mypro1

该命令启动了我们刚刚添加的 dmoz spider, 向 dmoz.org 发送一些请求。 您将会得到类似的输出:

2014-01-23 18:13:07-0400 [scrapy] INFO: Scrapy started (bot: tutorial)
2014-01-23 18:13:07-0400 [scrapy] INFO: Optional features available: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Overridden settings: {}
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled extensions: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled downloader middlewares: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled spider middlewares: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Enabled item pipelines: ...
2014-01-23 18:13:07-0400 [scrapy] INFO: Spider opened
2014-01-23 18:13:08-0400 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)
2014-01-23 18:13:09-0400 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)
2014-01-23 18:13:09-0400 [scrapy] INFO: Closing spider (finished)

最后你可以看到有一行log包含定义在 start_urls 的初始URL，并且与spider中是一一对应的。在log中可以看到其没有指向其他页面( (referer:None) )。

现在，查看当前目录，您将会注意到有两个包含url所对应的内容的文件被创建了: Book , Resources,正如我们的 parse 方法里做的一样。

5、提取Item

1、Selectors选择器简介

从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors 。 关于selector和其他提取机制的信息请参考 Selector文档 。

这里给出XPath表达式的例子及对应的含义:
/html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
/html/head/title/text(): 选择上面提到的 <title> 元素的文字
//td: 选择所有的 <td> 元素
//div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

上边仅仅是几个简单的XPath例子，XPath实际上要比这远远强大的多。 如果您想了解的更多，我们推荐 通过这些例子来学习XPath, 以及 这篇教程学习”how to think in XPath”.

CSS vs XPath: 您可以仅仅使用CSS Selector来从网页中 提取数据。不过, XPath提供了更强大的功能。其不仅仅能指明数据所在的路径， 还能查看数据: 比如，您可以这么进行选择: 包含文字 ‘Next Page’ 的链接 。 正因为如此，即使您已经了解如何使用 CSS selector， 我们仍推荐您使用XPath。

为了配合CSS与XPath，Scrapy除了提供了 Selector 之外，还提供了方法来避免每次从response中提取数据时生成selector的麻烦。

Selector有四个基本的方法(点击相应的方法可以看到详细的API文档):

  • xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
  • css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
  • extract(): 序列化该节点为unicode字符串并返回list。
  • re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。

2、在Shell中尝试Selector选择器

为了介绍Selector的使用方法，接下来我们将要使用内置的 Scrapy shell 。Scrapy Shell需要您预装好 IPython (一个扩展的Python终端)。

您需要进入项目的根目录，执行下列命令来启动shell:

scrapy shell "http://www.baidu.com"

当您在终端运行Scrapy时，请一定记得给url地址加上引号，否则包含参数的url(例如 & 字符)会导致Scrapy运行失败。

shell的输出类似:

[ ... Scrapy log here ... ]

2014-01-23 17:11:42-0400 [scrapy] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)
[s] Available Scrapy objects:
[s]   crawler    <scrapy.crawler.Crawler object at 0x3636b50>
[s]   item       {}
[s]   request    <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>
[s]   response   <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>
[s]   settings   <scrapy.settings.Settings object at 0x3fadc50>
[s]   spider     <Spider 'default' at 0x3cebf50>
[s] Useful shortcuts:
[s]   shelp()           Shell help (print this help)
[s]   fetch(req_or_url) Fetch request (or URL) and update local objects
[s]   view(response)    View response in a browser

In [1]:

当shell载入后，您将得到一个包含response数据的本地 response 变量。输入 response.body 将输出response的包体， 输出 response.headers 可以看到response的包头。

#TODO.. 更为重要的是, response 拥有一个 selector 属性, 该属性是以该特定 response 初始化的类 Selector 的对象。 您可以通过使用 response.selector.xpath() 或 response.selector.css() 来对 response 进行查询。 此外，scrapy也对 response.selector.xpath() 及 response.selector.css() 提供了一些快捷方式, 例如 response.xpath() 或 response.css() ，

同时，shell根据response提前初始化了变量 sel 。该selector根据response的类型自动选择最合适的分析规则(XML vs HTML)。

让我们来试试:

In [1]: response.xpath('//title')
Out[1]: [<Selector xpath='//title' data='<title>百度一下，你就知道</title>'>]

In [2]: response.xpath('//title').extract()
Out[2]: ['<title>百度一下，你就知道</title>']

In [3]: response.xpath('//title/text()')
Out[3]: [<Selector xpath='//title/text()' data='百度一下，你就知道'>]

In [4]: response.xpath('//title/text()').extract()
Out[4]: ['百度一下，你就知道']

In [5]: response.xpath('//title/text()').re('百度.*')
Out[5]: ['百度一下，你就知道']

3、提取数据

现在，我们来尝试从这些页面中提取些有用的数据。

您可以在终端中输入 response.body 来观察HTML源码并确定合适的XPath表达式。不过，这任务非常无聊且不易。您可以考虑使用Firefox的Firebug扩展来使得工作更为轻松。详情请参考 使用Firebug进行爬取 和 借助Firefox来爬取 。

在查看了网页的源码后，您会发现网站的信息是被包含在 第二个 <ul> 元素中。

我们可以通过这段代码选择该页面中网站列表里所有 <li> 元素:

response.xpath('//ul/li')

网站的描述:

response.xpath('//ul/li/text()').extract()

网站的标题:

response.xpath('//ul/li/a/text()').extract()

以及网站的链接:

response.xpath('//ul/li/a/@href').extract()

之前提到过，每个 .xpath() 调用返回selector组成的list，因此我们可以拼接更多的 .xpath() 来进一步获取某个节点。我们将在下边使用这样的特性:

for sel in response.xpath('//ul/li'):
    title = sel.xpath('a/text()').extract()
    link = sel.xpath('a/@href').extract()
    desc = sel.xpath('text()').extract()
    print title, link, desc

关于嵌套selctor的更多详细信息，请参考 嵌套选择器(selectors) 以及 选择器(Selectors) 文档中的 使用相对XPaths 部分。

在我们的spider中加入这段代码:

import scrapy

class DmozSpider(scrapy.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        for sel in response.xpath('//ul/li'):
            title = sel.xpath('a/text()').extract()
            link = sel.xpath('a/@href').extract()
            desc = sel.xpath('text()').extract()
            print title, link, desc

现在尝试再次爬取dmoz.org，您将看到爬取到的网站信息被成功输出:

scrapy crawl dmoz

6、使用item

Item 对象是自定义的python字典。 您可以使用标准的字典语法来获取到其每个字段的值。(字段即是我们之前用Field赋值的属性):

>>> response.xpath('//div/div/div/div/ul/li/strong/a/text()').extract()
['仙箓', '斗米仙缘', '刀噬诸天', '星光马厩', '点金主教', '大宋安乐侯', '诸天降临之主', '我真不是师尊', '漫威黑洞之眼', '重生从电商开始', '我真不是关系户', '1991从芯开始', '我的上单是真的菜', '女尊世界的白莲花', '从火影开始爆装备', '诸天穿越从武当开始', '平常人类的平凡生活', '万历新明', '洋港社区', '木叶之光', '全球挖宝', '影视猎魔人', '户外直播间', '末日拼图游戏', '我真是奥术师', '西游之大道宝瓶', '求求你当个妖吧', '从吞噬星空崛起', '龙族之快乐风男', '从离婚开始的文娱', '我用金手指建强国', '这个外挂过于中二', '从NPC到魔教教主', '我穿越到了女频小说']


>>> response.xpath('//div/div/div/div/ul/li/a/text()').extract()
['>', '>', '>', '资讯', '十步杀一仙：天命之族', '资讯', '引导网络文学高质发展', '资讯', '浦东：扫黄打非举铁臂', '资讯', '青春战疫优秀作品展示', '结伴踏天途', '红蓝战痕对决', '仙侠', '布谷聊', '仙侠', '能优斯特', '科幻', '木滴良心', '都市', '醛石', '体育', '远古莱德', '历史', '马来福', '科幻', '猛虎道长', '轻小说', '六道轮回拳', '科幻', '竹鼠不能吃', '都市', '红伟的笔名', '轻小说', '无面凄凉', '都市', '三分糊涂', '游戏', '一斗人生', '玄幻', '醉皓月', '轻小说', '冰糖葫芦糖', '玄幻', '无言的猜忌', '都市', '何处可桃', '页游', '封天战神爆发', '历史', '都市', '轻小说', '都市', '玄幻', '都市', '游戏', '科幻', '仙侠', '仙侠', '玄幻', '轻小说', '都市', '历史', '玄幻', '游戏', '轻小说', '页游', '混沌西游', '剑叩天门', '少侠请开恩', '我的皮肤强无敌', '漫威里的lol系统', '一品修仙', '万界之我开挂了', '综漫世界里的圣主', '我真不是学神', '完美主义之重回1985']

>>> response.xpath('//div/div/div/div/ul/li/strong/a/@href').extract()
['//book.qidian.com/info/1023501483', '//book.qidian.com/info/1023624642', '//book.qidian.com/info/1019612886', '//book.qidian.com/info/1023690817', '//book.qidian.com/info/1023499752', '//book.qidian.com/info/1023212221', '//book.qidian.com/info/1023616048', '//book.qidian.com/info/1023383880', '//book.qidian.com/info/1023715854', '//book.qidian.com/info/1022071749', '//book.qidian.com/info/1023797781', '//book.qidian.com/info/1023504293', '//book.qidian.com/info/1023589147', '//book.qidian.com/info/1022621258', '//book.qidian.com/info/1023662594', '//book.qidian.com/info/1023438690', '//book.qidian.com/info/1023473373', '//book.qidian.com/info/1023063911', '//book.qidian.com/info/1023864291', '//book.qidian.com/info/1023819689', '//book.qidian.com/info/1023669725', '//book.qidian.com/info/1023877874', '//book.qidian.com/info/1023808772', '//book.qidian.com/info/1023812355', '//book.qidian.com/info/1023931104', '//book.qidian.com/info/1023562168', '//book.qidian.com/info/1023822469', '//book.qidian.com/info/1023708557', '//book.qidian.com/info/1023526562', '//book.qidian.com/info/1023826840', '//book.qidian.com/info/1023181440', '//book.qidian.com/info/1016270420', '//book.qidian.com/info/1023691889', '//book.qidian.com/info/1023544550']

为了将爬取的数据返回，我们最终的代码将是:

import scrapy

from mypro1.items import Mypro1Item

class Mypro1Spider(scrapy.Spider):
    name = "mypro1"
    allowed_domains = ["baidu.com"]
    start_urls = [
        "http://www.qidian.com"
    ]

    def parse(self, response):
        for sel in response.xpath('//div/div/div/div/ul/li'):
            item = Mypro1Item()
            item['title'] = sel.xpath('strong/a/text()').extract()
            item['link'] = sel.xpath('strong/a/@href').extract()
            yield item

您可以在 dirbot 项目中找到一个具有完整功能的spider。该项目可以通过 https://github.com/scrapy/dirbot 找到。

现在对dmoz.org进行爬取将会产生 Mypro1Item 对象:

2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023501483'], 'title': ['仙箓']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023624642'], 'title': ['斗米仙缘']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1019612886'], 'title': ['刀噬诸天']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023690817'], 'title': ['星光马厩']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023499752'], 'title': ['点金主教']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023212221'], 'title': ['大宋安乐侯']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023616048'], 'title': ['诸天降临之主']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023383880'], 'title': ['我真不是师尊']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023715854'], 'title': ['漫威黑洞之眼']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1022071749'], 'title': ['重生从电商开始']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023797781'], 'title': ['我真不是关系户']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023504293'], 'title': ['1991从芯开始']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023589147'], 'title': ['我的上单是真的菜']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1022621258'], 'title': ['女尊世界的白莲花']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023662594'], 'title': ['从火影开始爆装备']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023438690'], 'title': ['诸天穿越从武当开始']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023473373'], 'title': ['平常人类的平凡生活']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023063911'], 'title': ['万历新明']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023864291'], 'title': ['洋港社区']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023819689'], 'title': ['木叶之光']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023669725'], 'title': ['全球挖宝']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023877874'], 'title': ['影视猎魔人']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023808772'], 'title': ['户外直播间']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023812355'], 'title': ['末日拼图游戏']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023931104'], 'title': ['我真是奥术师']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023562168'], 'title': ['西游之大道宝瓶']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023822469'], 'title': ['求求你当个妖吧']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023708557'], 'title': ['从吞噬星空崛起']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023526562'], 'title': ['龙族之快乐风男']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023826840'], 'title': ['从离婚开始的文娱']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023181440'], 'title': ['我用金手指建强国']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1016270420'], 'title': ['这个外挂过于中二']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023691889'], 'title': ['从NPC到魔教教主']}
2020-11-03 15:06:13 [scrapy.core.scraper] DEBUG: Scraped from <200 https://www.qidian.com/>
{'link': ['//book.qidian.com/info/1023544550'], 'title': ['我穿越到了女频小说']}

7、追踪链接(Following links)

接下来, 不仅仅满足于爬取 Books 及 Resources 页面， 您想要获取获取所有 Python directory 的内容。

既然已经能从页面上爬取数据了,为什么不提取您感兴趣的页面的链接,追踪他们, 读取这些链接的数据呢?

下面是实现这个功能的改进版spider:


from tutorial.items import DmozItem

class DmozSpider(scrapy.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/",
    ]

    def parse(self, response):
        for href in response.css("ul.directory.dir-col > li > a::attr('href')"):
            url = response.urljoin(response.url, href.extract())
            yield scrapy.Request(url, callback=self.parse_dir_contents)

    def parse_dir_contents(self, response):
        for sel in response.xpath('//ul/li'):
            item = DmozItem()
            item['title'] = sel.xpath('a/text()').extract()
            item['link'] = sel.xpath('a/@href').extract()
            item['desc'] = sel.xpath('text()').extract()
            yield item

现在， parse() 仅仅从页面中提取我们感兴趣的链接，使用 response.urljoin 方法构造一个绝对路径的URL(页面上的链接都是相对路径的)， 产生(yield)一个请求， 该请求使用 parse_dir_contents() 方法作为回调函数, 用于最终产生我们想要的数据.。

这里展现的即是Scrpay的追踪链接的机制: 当您在回调函数中yield一个Request后, Scrpay将会调度,发送该请求,并且在该请求完成时,调用所注册的回调函数。

基于此方法,您可以根据您所定义的跟进链接的规则,创建复杂的crawler,并且, 根据所访问的页面,提取不同的数据.

一种常见的方法是,回调函数负责提取一些item,查找能跟进的页面的链接, 并且使用相同的回调函数yield一个 Request:

def parse_articles_follow_next_page(self, response):
    for article in response.xpath("//article"):
        item = ArticleItem()

        ... extract article data here

        yield item

    next_page = response.css("ul.navigation > li.next-page > a::attr('href')")
    if next_page:
        url = response.urljoin(next_page[0].extract())
        yield scrapy.Request(url, self.parse_articles_follow_next_page)

上述代码将创建一个循环,跟进所有下一页的链接,直到找不到为止 – 对于爬取博客、论坛以及其他做了分页的网站十分有效。

另一种常见的需求是从多个页面构建item的数据, 这可以使用 在回调函数中传递信息的技巧.

上述代码仅仅作为阐述scrapy机制的样例spider, 想了解 如何实现一个拥有小型的规则引擎(rule engine)的通用spider 来构建您的crawler, 请查看 CrawlSpider

8、保存爬取到的数据

最简单存储爬取的数据的方式是使用 Feed exports:

scrapy crawl dmoz -o items.json

该命令将采用 JSON 格式对爬取的数据进行序列化，生成 items.json 文件。

在类似本篇教程里这样小规模的项目中，这种存储方式已经足够。 如果需要对爬取到的item做更多更为复杂的操作，您可以编写 Item Pipeline 。 类似于我们在创建项目时对Item做的，用于您编写自己的 tutorial/pipelines.py 也被创建。 不过如果您仅仅想要保存item，您不需要实现任何的pipeline。

9、调整设置

Scrapy将会在以下路径中寻找记录了配置参数的 scrapy.cfg 文件, 该文件以ini的方式记录:

  1. /etc/scrapy.cfg 或 c:\scrapy\scrapy.cfg (系统层面),
  2. ~/.config/scrapy.cfg ($XDG_CONFIG_HOME) 及 ~/.scrapy.cfg ($HOME) 作为全局(用户层面)设置, 以及
  3. 在scrapy项目根路径下的 scrapy.cfg (参考之后的章节).

从这些文件中读取到的设置按照以下的顺序合并: 用户定义的值具有比系统级别的默认值更高的优先级, 而项目定义的设置则会覆盖其他.

Scrapy也会读取并通过环境变量来设置. 目前支持的有:

10、默认的Scrapy项目结构

在开始对命令行工具以及子命令的探索前，让我们首先了解一下Scrapy的项目的目录结构。

虽然可以被修改，但所有的Scrapy项目默认有类似于下边的文件结构:

scrapy.cfg
myproject/
    __init__.py
    items.py
    pipelines.py
    settings.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

scrapy.cfg 存放的目录被认为是 项目的根目录 。该文件中包含python模块名的字段定义了项目的设置。例如:

[settings]
default = myproject.settings

使用 scrapy 工具

您可以以无参数的方式启动Scrapy工具。该命令将会给出一些使用帮助以及可用的命令:

[root@yyzh_tenv mypro1]# scrapy
Scrapy 2.4.0 - project: mypro1

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  check         Check spider contracts
  commands
  crawl         Run a spider
  edit          Edit spider
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  list          List available spiders
  parse         Parse URL (using its spider) and print the results
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command

全局命令:

项目(Project-only)命令:

11、自定义项目命令

您也可以通过 COMMANDS_MODULE 来添加您自己的项目命令。您可以以 scrapy/commands 中Scrapy commands为例来了解如何实现您的命令。

COMMANDS_MODULE

Default: '' (empty string)

用于查找添加自定义Scrapy命令的模块。

例子:

COMMANDS_MODULE = 'mybot.commands'

通过setup.py entry point来注册命令

这是个实验性的特性,请谨慎使用.

您可以通过在库文件 setup.py 的entry point中添加 scrapy.commands 部分来添加Scrapy命令.

以下是添加 my_command 命令的example:

from setuptools import setup, find_packages

setup(name='scrapy-mymodule',
  entry_points={
    'scrapy.commands': [
      'my_command=my_scrapy_module.commands:MyCommand',
    ],
  },
 )
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 204,793评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,567评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,342评论 0赞 338
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,825评论 1赞 277
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,814评论 5赞 368
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,680评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,033评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,687评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 42,175评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1赞 332
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,419评论 4赞 321
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,020评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2赞 351
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2赞 343

推荐阅读更多精彩内容