框架
以下是scrapy的框架，绿色箭头表示数据流向。
timg.jpeg
一、详细介绍：
scrapy Engine
爬虫引擎负责控制数据流在系统中的所有组件中流动，并在相应动作发生时触发事件。
调度器（Scheduler）
调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。
Spiders
Spiders是scrapy用户编写用于分析response并提取item或额外跟进的url的类。
Item Pipeline
Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、验证和保存数据。
下载器中间件（Downloader middlewares）
下载中间件是在引擎及下载器中间的特定钩子，处理Downloader传递给引擎的response。
Spider中间件（Spider middlewares）
Spider 中间件是在引擎及Spider之间的特定钩子，处理spider的输入（reponse）和输出（items及requests）。
二、数据流（Data flow）
- 引擎打开一个网站，找到处理该网站的spider并向该spider请求第一个要爬取的URL。
- 引擎从spider中获取到第一个要爬取的URL并在调度器（scheduler）以request调度。
- 引擎向调度器请求下一个要爬取的URL。
- 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件（请求request方向）转发给下载器。
- 页面下载完毕，下载器生成一个该页面的response，并将其通过下载中间件（返回方向）发给引擎。
- 引擎从下载器中接受到response并通过spider中间件发送给spider处理。
- spider处理response并返回爬取的item和新的reponse给引擎。
- 引擎将spider返回的item给item pipeline，将spider返回的resquest给调度器。
- （从第二步）重复直到调度器中没有request。
