前言
- 在开发爬虫时，有时候为了应对一些反爬机制比较严格的网站时，需要使用代理IP，用以隐藏自己真实IP地址或解封爬虫。本文针对三种常用的爬虫工具，介绍一下代理IP的设置方法。
requests
- requests是python crawler使用得比较多的第三方模块了，功能非常强大，在开发小型爬虫时经常使用到。requests中设置代理非常方便，通过requests的proxies参数添加，代码如下：
import requests
proxies = {
'http':'http://127.0.0.1:6878',
'https':'https://127.0.0.1:8687'
}
response = requests.get(url='http://httpbin.org/get',proxies=proxies).text
- 通过text可以验证一下代理IP是否成功设置
webdriver.Chrome
- 有时候在遇到一些需要动态渲染页面时候，requests无法完整获取html页面。这时候我们需要使用selenium驱动Chrome进行渲染。当然selenium的用处还有很多，例如进行模拟登陆以及验证码的处理等。
- webdriver.Chrome设置代理IP也很方便，使用webdriver.ChromeOptions()进行添加：
from selenium import webdriver
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://127.0.0.1:9876')
brower = webdriver.Chrome(chrome_options = chrome_options)
browser.get('http://httpbin.org/get')
scrapy
- scrapy是一个使用广泛，功能非常强大的爬虫框架。其内置了异步与多线程以提高爬取效率。通过定制Middlewares中间件可以与requests，selenium，Splash衔接，灵活的解决cookeis，proxy，验证码等常规放爬手段。
- 在进行大规模的数据爬取或分布式数据抓取时，scrapy无疑是一个非常不错选择。
- scrapy的代理IP设置通过对scrapy.Request中的meta字段进行添加：
yield scrapy.Request(url='http://httpbin.org/get',meta = {'proxy' : 'http://172.0.0.1:8634'} ,callback = self.parse)
- 当然，如果你选择Download Middlewares中间件中进行代理IP的设置也ok：
class ProxyMiddlewares():
....
def process_request(self,request,spider):
request.meta['proxy'] = 'http://127.0.0.1:2333'
....
- 如果你在进行页面渲染的时候使用的是Splash，那代理的设置会有些区别：
class ProxyMiddlewares():
....
def process_request(self,request,spider):
request.meta['splash']['args']['proxy'] = 'http://127.0.0.1:2333'
....
后记
-
以上就是几类常用爬虫工具的代理IP设置方法，日后再写一篇关于Cookies设置的文章。如果你对文章内容有任何疑问，请留言或者私信～
皮一下.png
