一、简介
Scrapy 是一款简单、易用，适用范围很广的网络爬虫框架，主要用户数据挖掘、检测、自动化测试等领域，其整体结构如下：
Scrapy主要包括了以下组件：
引擎(Scrapy) : 用来处理整个系统的数据流处理, 触发事务(框架核心)
调度器(Scheduler) : 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
下载器(Downloader) : 用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
爬虫(Spiders) : 爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
项目管道(Pipeline) : 负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
下载器中间件(Downloader Middlewares) : 位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
爬虫中间件(Spider Middlewares) : 介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件(Scheduler Middewares) : 介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。
Scrapy运行流程大概如下：
- 引擎从调度器中取出一个链接(URL)用于接下来的抓取
- 引擎把URL封装成一个请求(Request)传给下载器
- 下载器把资源下载下来，并封装成应答包(Response)
- 爬虫解析Response
- 解析出实体（Item）,则交给实体管道进行进一步的处理
- 解析出的是链接（URL）,则把URL交给调度器等待抓取
二、安装 & 创建工程
Linux 环境下直接执行以下命令即可：
sudo apt install python-pip
pip install scrapy
创建工程，比如我们现在就创建一个example工程，就只需要直接输入一下命令：
scrapy startproject example
执行完这一步之后，系统会提示我们创建一个spider，直接安装提示创建一个就可以了。
接下来看看我们刚刚创建的项目目录，来了解一下都创建了哪些文件。
scrapy框架结构：
- scrapy.cfg: 项目的配置文件。
- example/: 该项目的python模块。
- example/items.py: 项目中的item文件。
- example/pipelines.py: 项目中的pipelines文件。
- example/settings.py: 项目的设置文件。
- example/spiders/: 放置spider代码的目录。
三、实战---爬取豆瓣排名250的电影信息
- 在item.py下面定义一个VideoItem类，作为我们爬取信息的实体类。
class VideoItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
# 排名
ranking = scrapy.Field()
# 电影名称
movie_name = scrapy.Field()
# 评分
score = scrapy.Field()
# 评论人数
score_num = scrapy.Field()
- 编写网络爬虫请求以及解析返回结果
# -*- coding: utf-8 -*-
import scrapy
import re
from scrapy import Request
from scrapy.spiders import Spider
from video.items import VideoItem
class ExampleSpider(scrapy.Spider):
name = 'example'
allowed_domains = ['example.com']
start_urls = ['https://movie.douban.com/top250']
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36',
}
def start_requests(self):
url = 'https://movie.douban.com/top250'
yield Request(url, headers=self.headers)
def parse(self, response):
item = VideoItem()
movies = response.xpath('//ol[@class="grid_view"]/li')
for movie in movies:
item['ranking'] = movie.xpath('.//div[@class="pic"]/em/text()').extract()[0]
item['movie_name'] = movie.xpath('.//div[@class="hd"]/a/span[1]/text()').extract()[0]
item['score'] = movie.xpath('.//div[@class="star"]/span[@class="rating_num"]/text()').extract()[0]
item['score_num'] = movie.xpath('.//div[@class="star"]/span/text()').re(ur'(\d+)人评价')[0]
yield item
next_url = response.xpath('//span[@class="next"]/a/@href').extract()
if next_url:
next_url = 'https://movie.douban.com/top250' + next_url[0]
yield Request(next_url, headers=self.headers, callback=self.parse)
- 设置系统属性
# 爬取网站最大允许的深度(depth)值。如果为0，则没有限制。
# DEPTH_LIMIT = 4
# 设置下载的等待时间，大规模集中的访问对服务器的影响最大，相当与短时间中增大服务器负载
DOWNLOAD_DELAY = 2
SPIDER_MIDDLEWARES = {
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': None,
}
- 运行爬虫程序
scrapy crawl example
-
运行结果
屏幕快照 2018-09-08 22.37.00.png
四、实战---爬取最新美剧
目标地址：http://www.meijutt.com/new100.html
爬取项目：美剧名称、状态、电视台、更新时间
# -*- coding: utf-8 -*-
import scrapy
from scrapy.spiders import Spider
from meiju.items import MeijuItem
class ExampleSpider(scrapy.Spider):
name = 'example'
allowed_domains = ['example.com']
start_urls = ['http://www.meijutt.com/new100.html']
def parse(self, response):
item = MeijuItem()
meijus = response.xpath('//ul[@class="top-list fn-clear"]/li')
for meiju in meijus:
item['name'] = meiju.xpath('./h5/a/text()').extract()
item['status'] = meiju.xpath('./span/font/text()').extract()
item['des'] = meiju.xpath('./span[@class="mjjq"]/text()').extract()
item['episode'] = meiju.xpath('./span[@class="mjtv"]/text()').extract()
item['update'] = meiju.xpath('./div/font/text()').extract()
yield item
