代理
- 浏览器 --> 服务器
- 反向代理:浏览器 --> nginx --> 服务器
- 正向代理:浏览器 --> 代理 --> 服务器
问题：为什么爬虫需要使用代理？
- 让服务器以为不是同一个客户端在请求
- 防止我们的真实地址被泄露，防止被追究
使用代理IP
- 准备一堆的ip地址，组成IP池，随机选择一个IP来使用
- 如何随机选择代理IP，让使用次数较少的IP地址有更大的可能性被用到
- {'ip':ip,'times':0}
- [{},{}]对这个IP的列表进行排序，按照使用次数进行排序
- 选择使用次数较少的10个IP，从中随机选择一个
- 检查IP的可用性
- 可以使用requests添加超市参数，判断IP地址的质量
- 在线代理IP质量检测的网站
import requests # 根据协议类型，选择不同的代理 proxies = { "http": "http://12.34.56.79:9527", "https": "http://12.34.56.79:9527", } response = requests.get("http://www.baidu.com", proxies = proxies) print response.text
- 也可以通过本地环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理
export HTTP_PROXY="http://12.34.56.79:9527"
export HTTPS_PROXY="https://12.34.56.79:9527"
cookie和session区别
- cookie数据存放在客户的浏览器上，session数据放在服务器上。
- cookie不是很安全，别人可以分析存放在本地的cookie并进行cookie欺骗。
- session会在一定时间内保存在服务器上。当访问增多，会比较占用你服务器的性能。
- 单个cookie保存的数据不能超过4K，很多浏览器都限制一个站点最多保存20个cookie。
爬虫处理cookie和session
- 带上cookie、session的好处：
能够请求到登录之后的页面- 带上cookie、session的弊端：
一套cookie和session往往和一个用户对应请求太快，请求次数太多，容易被服务器识别为爬虫- 不需要cookie的时候尽量不去使用cookie,但是为了获取登录之后的页面，我们必须发送带有cookies的请求
处理cookies 、session请求
requests 提供了一个叫做session类，来实现客户端和服务端的会话保持
Cookies
import requests response = requests.get("http://www.baidu.com/") # 7\. 返回CookieJar对象: cookiejar = response.cookies # 8\. 将CookieJar转为字典： cookiedict = requests.utils.dict_from_cookiejar(cookiejar) print (cookiejar) print (cookiedict)
session
请求登陆之后的网站的思路
- 实例化session
- 先使用session发送请求，登录网站，把cookie保存在session中
- 再使用session请求登录之后才能访问网站，session能够自动的携带登录成功时保存在其中的cookie,进行请求
实现人人网登录
import requests # 1.创建session对象，可以保存Cookie值 ssion = requests.session() # 2.处理 headers headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"} # 3.需要登录的用户名和密码 data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"} # 4.发送附带用户名和密码的请求，并获取登录后的Cookie值，保存在ssion里 ssion.post("http://www.renren.com/PLogin.do", data = data) # 5.ssion包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面 response = ssion.get("http://www.renren.com/410043129/profile") # 6.打印响应内容 print (response.text)
Requests小技巧
- reqeusts.util.dict_from_cookiejar 把cookie对象转化为字典
requests.get(url,cookies={})- 请求 SSL证书验证
response = requests.get("https://www.12306.cn/mormhweb/ ", verify=False)- 设置超时
response = requests.get(url,timeout=10)- 配合状态码判断是否请求成功
assert response.status_code == 200
异常重试
-
pip install retryingfrom retrying import retry @retry(stop_max_attempt_number=3) #只使用@retry，则会一直不停运行 #stop_max_attempt_number最大运行次数 #stop_max_delay 设置失败重试的最大时间, 单位毫秒，超出时间，则停止重试 #wait_fixed 设置失败重试的间隔时间 #wait_random_min, wait_random_max 设置失败重试随机性间隔时间 #wait_exponential_multiplier-间隔时间倍数增加，wait_exponential_max-最大间隔时间 #retry_on_exception：指定异常类型，指定的异常类型会重试，不指定的类型，会直接异常退出 def index(): print(1/0)
