文件目录说明：
scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.
定义item
Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
示例代码：
import scrapy
class DmozItem(scrapy.Item):
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()
定义spider
name: 用于区别Spider。 该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。
start_urls: 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
parse() :是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。
示例代码：
import scrapy
class DmozSpider(scrapy.Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
filename = response.url.split("/")[-2]
with open(filename, 'wb') as f:
f.write(response.body)
Scrapy提供了一个 item pipeline ，来下载属于某个特定项目的图片，比如，当你抓取产品时，也想把它们的图片下载到本地。
这条管道，被称作图片管道，在 ImagesPipeline 类中实现，提供了一个方便并具有额外特性的方法，来下载并本地存储图片
使用图片管道
示例代码：
import scrapy
from scrapy.contrib.pipeline.images import ImagesPipeline
from scrapy.exceptions import DropItem
class MyImagesPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
for image_url in item['image_urls']:
yield scrapy.Request(image_url)
def item_completed(self, results, item, info):
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem("Item contains no images")
item['image_paths'] = image_paths
return item
配置修改
开启图片管道
ITEM_PIPELINES = {'scrapy.contrib.pipeline.images.ImagesPipeline': 1}
指定路径
IMAGES_STORE = '/path/to/valid/dir'
main文件编写
当我们使用scrapy编写一个爬虫工程后，想要对工程进行断点调试，和内部运行一般我们会定义一个main.py文件，
以运行jobbole为例，编写main.py 文件代码。
from scrapy.cmdline import execute
import sys
import os
#设置工程目录
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
#启动命令
execute(['scrapy','crawl','jobbole'])
下载器中间件是介于Scrapy的request/response处理的钩子框架。 是用于全局修改Scrapy request和response的一个轻量、底层的系统。
激活下载中间件
DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.CustomDownloaderMiddleware': 543,
}
爬虫settings.py文件
# -*- coding: utf-8 -*-
# Scrapy settings for tutorial project
#
# For simplicitv, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
# https://doc.scrapy.org/en/latest/topics/settings.html
# https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
# https://doc.scrapy.org/en/latest/topics/spider-middleware.html
BOT_NAME = 'tutorial'#爬虫项目的名称
SPIDER_MODULES = ['tutorial.spiders']#爬虫文件目录
NEWSPIDER_MODULE = 'tutorial.spiders'
# Crawl responsibly by identifying yourself (and your website) on the user-agent
#用户的代理，设置用户代理的目的是为了模拟浏览器发起请求
#USER_AGENT = 'tutorial (+http://www.yourdomain.com)'
# Obey robots.txt rules
#是否要遵守robot协议 默认为true表示遵守 通常设置为false
ROBOTSTXT_OBEY = True
# Configure maximum concurrent requests performed by Scrapy (default: 16)
#下载器允许发起请求的最大并发数 默认情况下是16
#CONCURRENT_REQUESTS = 32
# Configure a delay for requests for the same website (default: 0)
# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay
# See also autothrottle settings and docs
#下载延时 同一个网站上一个请求和下一个请求之间的间隔时间
DOWNLOAD_DELAY = 3
# The download delay setting will honor only one of:
#在某一个域下 允许的最大并发请求数量默认8
#CONCURRENT_REQUESTS_PER_DOMAIN = 16
#对于单个ip下允许最大的并发请求数量 默认为0 为零表示不限制
#特殊点：如果非零 上面设置的针对于域的设置就会不再生效了
#这个时候并发的限制就会针对与ip而不会针对与网站
#特殊点：如果它非零 我们下载延时不在是针对网站了 而是针对于ip了
#CONCURRENT_REQUESTS_PER_IP = 16
# Disable cookies (enabled by default)
#针对于cookies设置一般情况下 我们不携带cookies 也是反反爬的一个手段 默认为True
#COOKIES_ENABLED = False
# Disable Telnet Console (enabled by default)
#scrapy携带的一个终端扩展插件 telent作用：它能够打印日志信息 监听爬虫的爬取状态信息
TELNETCONSOLE_ENABLED = False
# Override the default request headers:
#默认的请求头 他是一个全局的
DEFAULT_REQUEST_HEADERS = {
# 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
# 'Accept-Language': 'en',
}
# Enable or disable spider middlewares
# See https://doc.scrapy.org/en/latest/topics/spider-middleware.html
#爬虫中间件 我们可以在这里做一些爬虫自定义的扩展
#SPIDER_MIDDLEWARES = {
# 'tutorial.middlewares.TutorialSpiderMiddleware': 543,
#}
# Enable or disable downloader middlewares
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html
#下载中间件 一般自定义下载中间件可以在这里激活 后面的数字表示优先级 数字越小优先级越高
#DOWNLOADER_MIDDLEWARES = {
# 'tutorial.middlewares.TutorialDownloaderMiddleware': 543,
#}
# Enable or disable extensions
# See https://doc.scrapy.org/en/latest/topics/extensions.html
#scrapy的扩展 扩展信息
#EXTENSIONS = {
# 'scrapy.extensions.telnet.TelnetConsole': None,
#}
# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html
#在这里激活管道文件 管道文件后面同样跟了数字表示优先级 数字越小表示优先级越高
ITEM_PIPELINES = {
}
#写入图片的保存路径
IMAGES_STORE = '/path/to/valid/dir'
#设置自动限速的扩展 弥补上面的不足 可以自动调整scrapy的下载时间 时间延时
#
# Enable and configure the AutoThrottle extension (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/autothrottle.
# The initial download delay
# The maximum download delay to be set in case of high latencies
#在高延迟情况下最大的下载延迟(单位秒)
AUTOTHROTTLE_MAX_DELAY = 60
# each remote server
# Enable showing throttling stats for every response received:
#起用AutoThrottle调试(debug)模式，展示每个接收到的response。可以通过此来查看限速参数是如何实时被调整的。
AUTOTHROTTLE_DEBUG = False
# Enable and configure HTTP caching (disabled by default)
# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
#是否启用缓存策略
HTTPCACHE_ENABLED = True
#缓存超时时间
HTTPCACHE_EXPIRATION_SECS = 0
#缓存保存路径
HTTPCACHE_DIR = 'httpcache'
#缓存忽略的Http状态码
HTTPCACHE_IGNORE_HTTP_CODES = []
# 缓存存储的插件
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
Linux下scrapy框架命令使用
创建一个爬虫项目：scrapy startproject 爬虫的项目名称
注意：创建爬虫文件要在spiders文件下
创建爬虫文件：scrapy genspider 爬虫文件名称 爬虫的域
运行爬虫的名称：scrapy crawl 爬虫文件名称
创建crawlspider爬虫文件:scrapy genspider –t crawl jobbole xxxxx.cn
未启动爬虫调试命令:scrapy shell 'http://www.xxxxxxx.cn/xxx/xxx'
scrapy框架安装方式：
ubuntu系统下：sudo pip3 install scrapy
如果安装不成功可尝试安装一下依赖环境
sudo apt-get install python3-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
