在写爬虫的时候，经常会遇到一个难题，就是反爬虫。反爬虫策略一般就是检测user-agent，IP等等信息，辨别是机器发送请求还是认为发送请求。如何使我们写的爬虫突破反爬虫策略，从而继续抓取到需要的信息，scrapy的中间件就可以完成这个需求。
首先了解一下如何防止爬虫被反，有以下几个策略：
1.动态的设置user-agent，模拟不同的浏览器信息。
2.禁用cookies(如果不需要登录)，设置COOKIES_ENABLED控制CookiesMiddleware的开启和关闭。
3.设置延迟加载，防止访问过于频繁，设置为2秒以上，设置DOWNLOAD_DELAY = 3
4.使用Google/Baidu Cache，如果百度或者谷歌有待爬取页面的缓存数据，可以通过缓存获取。
5.使用代理IP池，每一次请求都更换IP，模拟不同的用户发送请求。
6.使用Crawlear(专用于爬虫的代理组件)，正确的设置下载中间件之后，所有的requests请求都是通过Crawlear发出的，就不需要使用代理IP了。
user-agent 中间件
接下来就用一个豆瓣爬虫的例子，爬一下豆瓣电影排行榜，介绍下载中间件的用法。
class MovieTopSpider(CrawlSpider): name = 'movie_top' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/top250?start=0&filter='] # 翻页规则， pageLink = LinkExtractor(allow=(r"start=\d+&filter=")) # 定义匹配规则，callback不可以使用parse() rules = ( Rule(pageLink, callback='parse_page', follow=True), ) def parse_page(self, response): print(response.request.headers["User-Agent"]) print(response.url)直接运行爬虫，发现控制台上什么并没有输出每一页的网址。
原因是没有设置user-agent，我们需要在settings.py设置一下user-agent等信息。DEFAULT_REQUEST_HEADERS = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', }启动爬虫，发现控制台打印了网址和User-Agent信息。
通过上面的这种设置方法只能使用一个user-agent，不能达到动态切换的效果。此时就需要中间件的参与了。
在settings.py中定义User-Agent列表：USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)", "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)", ]在settings.py的同级目录下创建一个middlewares.py文件，随机选取一个User-Agent，代码如下：
class UserAgentMiddleware(object): def process_request(self, request, spider): user_agent = random.choice(settings.USER_AGENTS) request.headers['User-Agent'] = user_agent将自定义的useragent中间件加入到settings.py中：
DOWNLOADER_MIDDLEWARES = { 'scrapy_douban.middlewares.UserAgentMiddleware': 600, }启动爬虫，发现控制台上User-Agent信息每一条都是随机的。
虽然已经可以随机选取User-Agent，但是settings.py文件中的User-Agent列表只有4条，实际项目里面需要大量的user-agent信息，这么配置代码的可读性很差。这一点可以使用fake-useragent库(需要安装)进行改善。代码如下：
from fake_useragent import UserAgent class UserAgentMiddleware(object): def process_request(self, request, spider): location = "fake_useragent_" + fake_useragent.VERSION #本地文件路径 ua = fake_useragent.UserAgent(use_cache_server=False, path=location) #禁用缓存，使用本地文件 request.headers['User-Agent'] = ua.random #随便从本地文件中取出一个user-agent把fake-useragent的Json文件下载到本地，放到项目目录中。(可以把之前配置的user-agent列表删除)
启动爬虫，控制台上随机打印user-agent信息。
代理IP proxy 中间件
每一次的request请求都会带着IP地址进行发送，如果目标服务器检测到爬虫，就会把本地的IP封禁。使用代理IP简单理解就是把每次的请求附带着的IP地址进行更改，每一次请求的IP都不容易，目标服务器就封禁IP的概率就小了很多了。(代理IP可以到西刺代理去找，切记使用高匿IP)
scrapy使用代理IP，过程如下：
在settings.py中，创建一个IP_POOLS，里面存放一些可用的IP地址，然后每一次都随机一个，进行访问。IP_POOL=[ {"http":"114.225.168.185:53128"}, {"http":"114.225.168.185:8123"}, {"http":"182.88.89.19:8123"}, {"http":"182.34.33.152:53128"}, {"http":" 121.31.195.239:8123"} ]在middlewares.py中创建代理中间件：
class MyproxiesSpiderMiddleware(object): def __init__(self,ip=''): self.ip=ip def process_request(self, request, spider): thisip=random.choice(IP_POOL) request.meta["proxy"]="http://"+thisip["http"]在settings.py文件中设置中间件的配置
DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 560, 'scrapy_douban.middlewares.MyproxiesSpiderMiddleware' : 550, }启动项目，可以访问到目标网站，获取数据。
跟user-agent一样，IP_POOL代理IP池中需要的IP数量很多，而且免费的代理IP，经常是不能用的，在实际的运行环境中，需要使用付费的代理。我使用的是阿布云代理，可以自行注册，购买一条隧道。使用方法很简单。
代码如下：# 代理IP，阿布云代理 class ABProxyMiddleware(object): """ 阿布云ip代理配置 """ def process_request(self, request, spider): request.meta["proxy"] = settings.PROXY_SERVER request.headers["Proxy-Authorization"] = settings.PROXY_AUTH在settings.py文件中设置一下关于代理和中间件的配置
DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 560, 'scrapy_douban.middlewares.ABProxyMiddleware' : 550, } # 阿布云ip代理配置，包括账号密码 import base64 PROXY_USER = "通行证书" PROXY_PASS = "通行密钥" PROXY_HOST = "HTTP隧道服务器地址" PROXY_PORT = "端口" # for Python3 PROXY_AUTH = "Basic " + base64.urlsafe_b64encode(bytes((PROXY_USER + ":" + PROXY_PASS), "ascii")).decode("utf8") PROXY_SERVER = "http://" + PROXY_HOST + ":" + PROXY_PORT启动爬虫，可以正常发送请求，获取服务器返回的数据。
