- 爬虫中使用cookie利弊：
好处：能够访问登陆后的页面，能够实现部分反反爬
坏处：一套cookie往往对应一个用户信息，请求太频繁容易被识别
解决方法：使用多个账号- 处理cookie的三种方法：
1.cookie字符串放在headers中
2.使用cookies参数接收字典形式的cookie
3.使用requests提供的session模块- requests其他方法
①cookieJar
②requests处理证书错误
③超时参数timeout
④retrying模块
cookie字符串放在headers中
header中cookie的位置：
Request Headers
直接复制浏览器中的cookie到代码中
【demo06】访问登录后的博客
import requests
import re
url = 'http://www.lofter.com/blog/cgdsg'
headers = {
"User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Mobile Safari/537.36",
"Cookie":【此处放cookie】 }
response = requests.get(url, headers=headers)
# 响应url
print(response.url)
# 响应内容中是否含有账号名
print(re.findall("唱歌的傻瓜", response.content.decode()))
使用cookies参数接收字典形式的cookie
cookies的形式：
字典
cookies = {"cookie的name":"cookie的value"}
使用方法：
requests.get(url,headers=headers,cookies=cookie_dict}
使用requests提供的session模块
session
requests提供了session类，用来实现客户端和服务端的会话保持
使用方法：
session = requests.session()
response = session.get(url,headers)
【demo07】使用session请求个人主页
import re
import requests
# url
url='http://www.lofter.com/login?urschecked=true'
# headers
headers = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36"
}
# post数据
post_data = {
'phone': '【输入手机号】',
'passport': '【输入密码】'
}
# 创建session对象
session = requests.session()
# 设置session对象
session.headers = headers
# 使用session做登录，post登录
session.post(url, data=post_data)
# 验证首页
response=session.get('http://cgdsg.lofter.com/')
# 响应url
print(response.url)
# 响应内容中是否含有账号名
print(re.findall("唱歌的", response.content.decode()))
requests其他方法
①cookieJar
response.cookies能够获取对方服务器设置在本地的cookie，值是CookieJar类型
使用requests.utils.dict_from_cookiejar，能够实现把cookiejar对象转化为字典
【demo08】使用cookieJar
import requests
url='http://www.baidu.com'
# 发送请求，获取response
response=requests.get(url)
print(type(response.cookies))
#使用方法从cookiejar中提取数据
cookies = requests.utils.dict_from_cookiejar(response.cookies)
print(cookies)
②requests处理证书错误
有时发起请求会返回证书错误：
ssl.CertificateError ...
解决方案：添加一个参数verify=False
import requests
url = "https://www.12306.cn/mormhweb/"
response = requests.get(url,verify=False)
③超时参数timeout
问题：遇到网络问题时请求需等待很长时间
解决办法：使用超时参数强制请求必须返回结果，否则报错
# 添加timeout参数，3秒钟内返回响应，否则报错
response = requests.get(url,timeout=3)
④retrying模块
作用：
刷新请求，能够实现捕获函数的异常，反复执行函数的效果，和timeout配合使用，能够解决网络波动带来的请求不成功的问题
使用：
1.使用retrying模块提供的retry模块
2.通过装饰器的方式使用，让被装饰的函数反复执行
2.retry中可以传入参数stop_max_attempt_number,让函数报错后继续重新执行，达到最大执行次数的上限，如果每次都报错，整个函数报错，如果中间有一个成功，程序继续往后执行
【demo09】retrying和request的简单封装
实现：
- 一个发送请求的函数
- 使用timeout实现超时报错
- 使用retrying模块实现重试
import requests
from retrying import retry
class RetryTest(object):
def __init__(self):
self.url = 'www.baidu.com'
# 最大重试3次，3次全部报错，才会报错
@retry(stop_max_attempt_number=3)
def get_data(self):
print("get_data:")
response=requests.get(self.url,timeout=3)
def run(self):
self.get_data()
if __name__ == '__main__':
try_test = RetryTest()
try_test.run()
