title: python复习第14天：静态爬虫之requests
date: 2020-04-05 15:00:24
tags:
- python
- 爬虫
categories: python复习
top: 15
requests模块详解
模块安装
- 建议新建一个虚拟环境后再安装
conda create -n xxxx python=3.8 # 新建一个虚拟环境，并且指定python版本
conda activate xxxx # 激活该虚拟环境
- 也可以直接在pycharm中新建一个项目，选择conda虚拟环境
- pip或者conda安装新环境
- 具体安装方法如下：
conda install requests
pip install requests
get请求
- get请求为http协议常用请求，主要有4部分，请求url,请求头，请求方法，请求参数
- 下面演示下载百度官网
import requests
url = 'https://www.baidu.com' # 请求url
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/80.0.3987.149 Safari/537.36'
} # 请求头，从浏览器中粘贴过来的
response = requests.get(url, headers=headers) # 将相应放到response变量
print(response) # response是一个object，默认打印是状态码
"""
<Response [200]>
"""
- 如果要打印网页，可以用reponse.text
print(response.text)
response常用属性与方法
response：默认显示状态码
response.text：显示文本内容，一般为html或者xml时使用
response.content：显示二进制内容，如果是图片或者不确定编码方式时使用
response.json()：显示json对象，如果是json格式时使用
response.url：显示返回的url，一般和原请求网页一样，触发有跳转
response.headers：显示返回头
response.cookies：显示cookies
get方法加参数请求
- 以百度搜索查询为例
import requests
url = 'https://www.baidu.com/s' # 请求url
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/80.0.3987.149 Safari/537.36'
} # 请求头，从浏览器中粘贴过来的
params = {
'ie': 'UTF-8',
'wd': '你好'
} # 加入两个请求参数，可以直接从url中提取
response = requests.get(url, headers=headers, params=params) # 将相应放到response变量
print(response.text)
post请求
- 当网页提交数据，如登录，填写调查问卷并提交，都是用post请求
- post请求用于提交数据到服务器，数据库予以储存或者相应新内容
- 以某翻译网站为例
import requests
url = 'http://fy.iciba.com/ajax.php?a=fy'
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/80.0.3987.149 Safari/537.36'
} # 请求头，从浏览器中粘贴过来的
data = {
'f': 'auto',
't': 'auto',
'w': 'hello',
}
response = requests.post(url, headers=headers, data=data) # 将相应放到response变量
print(response)
print(response.json())
"""
<Response [200]>
{'status': 0, 'content': {'ph_en': "hə'ləʊ", 'ph_am': 'həˈloʊ', 'ph_en_mp3': '',
'ph_am_mp3': 'http://res.iciba.com/resource/amp3/1/0/5d/41/5d41402abc4b2a76b9719d911017c592.mp3',
'ph_tts_mp3': 'http://res-tts.iciba.com/5/d/4/5d41402abc4b2a76b9719d911017c592.mp3',
'word_mean': ['int. 哈喽，喂;你好，您好;表示问候;打招呼;', 'n. “喂”的招呼声或问候声;', 'vi. 喊“喂”;']}}
"""
session会话保持
- http是无状态的，没有记忆性，服务器通过创建session与cookies而达到记忆功能。sesssion存服务器，cookies存用户浏览器
- 如果用户想要通过爬虫模拟登录，访问，下载功能，就必须要是同一个会话，也就是必须持有相同的cookies
- 如果需要登录后才能做很多事情，那么可以通过requests模块创建session会话，这样就和普通用户登录，访问是一个效果。
- 以模拟登录人人网为例：
import requests
url = 'http://www.renren.com/PLogin.do'
data = {
'email': 'xxxxxx', # 你的账号
'password': 'xxxxxxxx', # 你的密码
'autoLogin': 'true' # 是否自动登录
}
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)\
Chrome/80.0.3987.149 Safari/537.36'
}
s = requests.session() # 创建session会话
s.post(url, headers=headers, data=data) # post请求模拟登录
url2 = 'http://www.renren.com/914644077' # 自己提取自己的主页url
response = s.get(url2, headers=headers) # 尝试访问个人主页
print(response.text) # 打印网页内容，看看有没有你的用户名啥的，最好就是保存到本地看看对比一下
s.close() # 关闭会话
代理访问
有时候有些网站必须要用代理才能访问
或者如果你频繁用一个ip访问一个网站，容易被封号
所以用代理可以给你换不同的马甲，突破反爬封锁
下面使用代理访问百度
import requests
url = 'https://www.baidu.com'
headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)\
Chrome/80.0.3987.149 Safari/537.36'
}
proxies = {
'http': '218.75.102.198:8000'
}
response = requests.get(url, proxies=proxies, headers=headers, timeout=20) # 20秒连接不成功就超时退出
print(response)
"""
<Response [200]>
"""
AJAX
- Asynchronous Javascript And XML,即javaScript和xml
- 通常表现为刷网页的时候，只显示一下部分，当你往下浏览的时候慢慢给你加载新内容
- 一般ajax请求比较有规律，请求参数一般为页码或者条数，这样的话可以通过循环语句批量生成请求参数，实现全部爬取
