scrapy框架的流程图
2018-11-01框架流程图
1、scrapy框架主要为个块
（1）Scrapy Engine(引擎)： 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
(2)Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
(3)Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理
(4)Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)
(5)Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
(6)Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
(7)Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）
2、制作 Scrapy 爬虫 一共需要4步
1、新建项目: scrapy startproject 爬虫项目名称
2、新建一个新的爬虫明确目标:（编写items.py）：明确你想要抓取的目标
3、制作爬虫scrapy genspider 爬虫文件名称 域名:制作爬虫开始爬取网页
4、存储内容pipelines.py）：设计管道存储爬取内容
3、scrapy 框架配置和安装
1、Ubuntu 安装方式：sudo pip3 install scrapy
4、scrapy框架的使用
1、创建爬虫项目：scrapy startproject 项目名
2、新建爬虫文件：scrapy genspider 爬虫的名字 域名
3、明确我们的目标，就是我们所要抓取的url
4、打开项目文件下的item.py文件，在这里我们要写入我们所需要获取的数据字段
5、打开settings.py文件我们需要在这里配置爬虫需要的信息
6、打开爬虫文件，在这里我们从item里获取需要解析的字段进行解析以及提取所需要的url用yield回调。注意：yield 的作用就是把一个函数变成一个 generator（生成器），带有 yield 的函数不再是一个普通函数，Python 解释器会将其视为一个 generator，带有yeild的函数遇到yeild的时候就返回一个迭代值，下次迭代时， 代码从 yield 的下一条语句继续执行，而函数的本地变量看起来和上次中断执行前是完全一样的，于是函数继续执行， 直到再次遇到 yield。
这里的name是指爬虫的名字
allowed_domains指的是允许爬虫访问的域
atart_urls指的是我们的初始目标url
6、Scrapy Item pipeline(管道文件)使用
1、Item Pipeline 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，这些Item Pipeline组件按定义的顺序处理Item。每个Item Pipeline都是实现了简单方法的Python类，比如决定此Item是丢弃而存储。
例如：
在这里我们把管道作为储存和过滤
2018-11-05 19-23-14mongodb.png
在这里我们把数据保存至mongodb数据库中，在设置好ip和数据库的端口之后，
指定它要存入的数据库和集合，如果没有那个数据库和集合，代码会帮我们自动创建
7、下载项目图片(下载到本地)
1、可以现在seetings.py文件里面定义一个本地图片的保存路径,例如：IMAGES_STORE = '/home/ljh/桌面/1804爬虫/jobboleImage'
2、在items里面定义好项目图片的url,以及本地存储路径的字段
3、在爬虫文件里面对图片地址进行解析
4、解析好的url返回给管道，进行响应以及对图片的下载，具体操作如下
2018-11-05 20-01-09图片下载图.png
5的pipelines.py为爬虫文件，我们在这里的操作在主要是数据的过滤，保存和上传
Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。
class scrapy.Spider是最基本的类，所有编写的爬虫必须继承这个类。
主要用到的函数及调用顺序为：
init() : 初始化爬虫名字和start_urls列表
start_requests() 调用make_requests_from url():生成Requests对象交给Scrapy下载并返回response
parse():
解析response，并返回Item或Requests（需指定回调函数）。
Item传给Item pipline持久化 ， 而Requests交由Scrapy下载，并由指定的回调函数处理（默认parse())，一直进行循环，直到处理完所有的数据为止。
8、通用爬虫
1、创建项目
scrapy startproject 项目名字
创建爬虫
scrapy genspider -t crawl 爬虫名字 域
rules 规则属性的参数：是一个元阻，可以放多个Rule 对象
创建Rule:
LinkExtractor:设定提取的规则
（allow,deny,allow_dome...）
callback 设置回调函数
follwer 是否跟进
rules = (
allow:一般跟一个正则表达式，表示允许的url*********************
deny:表示一个正则表达式，符合正则表达式的链接，我们不链接，优先级比allow高
allowed_domains:提取额链接，必须在我设置的域下面
deny_domains:提取链接时，一定不能提取deny_domains设置的域下
restrict_xpaths:刚提取连接的时候我们可以定位到耨一些标签，提取标签下符合规则的链接********
tags:可以指定要提取那些标签
attrs:;;可以提取哪一属性
restrict_css:当提取连接时可以使用css语法 **************
process_links:设置一个函数，根据正则获取的url,可以在回调函数中获取到
process_request:设置一个函数，可以在这个回调方法中拦截所有根据正则规则提取到的url构建的Request对象
Rule(LinkExtractor(
allow=('.*?qwd=&p=\d+',),
deny=(),
allowed_domains=(),
deny_domains=(),
restrict_xpaths=(),
tags=(),
attrs=(),
restrict_css=()
),
2、Scrapy CrawlSpiders介绍和使用
它是Spider的派生类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则Rule来提供跟进链接的方便的机制，从爬取的网页结果中获取链接并继续爬取的工作
rules
CrawlSpider使用rules属性来决定爬虫的爬取规则，并将匹配后的url请求提交给引擎,完成后续的爬取工作。
在rules中包含一个或多个Rule对象，每个Rule对爬取网站的动作定义了某种特定操作，比如提取当前相应内容里的特定链接，是否对提取的链接跟进爬取，对提交的请求设置回调函数等。
主要参数：
allow：满足括号中“正则表达式”的URL会被提取，如果为空，则全部匹配。
deny：满足括号中“正则表达式”的URL一定不提取（优先级高于allow）。
allow_domains：会提取的链接的domains。
deny_domains：一定不会被提取链接的domains。
restrict_xpaths：使用xpath表达式，和allow共同作用过滤链接
注意：设置回调的时候一定不能重写parse方法
2、要活取起始url的响应结果，必须重写parse_start_url
3、在设置Rule对象的时候，如果没有callback回调函数，表示默认跟进
什么时候 会用到用用爬虫？
当提取数据的目标网站的网址很有规律，并且各个模块很清晰，我们就可以使用通用爬虫
