一、定义
- 网络爬虫就是模拟浏览器发送网络请求，接受请求响应，一种按照一定的规则，自动的抓取互联网信息的程序。
- 原则上，只要是浏览器（客户端）能做的事情，爬虫都能做
二、流程
![]()
三、requests的基本使用
1、requests是Python的一个网络类库
2、requests的作用就是发送网络请求，返回响应数据
# 目标url
url = 'https://www.baidu.com'
# 向目标url发送get请求
response = requests.get(url)
# 打印响应内容
print(response.text)
2、response的常用属性
-
reponse.text响应体str类型 -
reponse.content响应体bytes类型 -
reponse.status_code响应状态码 -
reponse.requests.headers响应对应的请求头 -
responde.headers响应头 -
reponse.requests._cookies响应对应的cookies -
requests.cookies响应cookies（经过了set-cookies动作）
3、reponse.text 和reponse.content的区别
-
reponse.text- 类型：str
- 解码类型：requests模块自动根据HTTP头部对响应的编码做出有根据的推测，推测文本编码
- 如和修改编码方式：
reposne.encoding='gbk'
-
reponse.content- 类型：bytes
- 解码类型：没有指定
- 如何修改编码方式：
reponse.content.decode('uutf-8')
获取网页源码的通用方式：
1、reponse.content.decode()
2、reponse.content.dexode('GBK')
3、reposne.text
以上三种方式，能够100%的解决所有的网页解码问题
4、发送带参数的请求，有两种方式
# 方式一：利用params参数发送带参数的请求
import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
# 这是目标url
# url = 'https://www.baidu.com/s?wd=python'
# 最后有没有问号结果都一样
url = 'https://www.baidu.com/s?'
# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}
# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw)
# 当有多个请求参数时，requests接收的params参数为多个键值对的字典，比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}
print(response.content)
# 方式二：直接发送带参数的url的请求
import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
url = 'https://www.baidu.com/s?wd=python'
# kw = {'wd': 'python'}
# url中包含了请求参数，所以此时无需params
response = requests.get(url, headers=headers)
5、requests发送POST请求
- 用法格式，
# data为字典格式
response = requests.post("http://www.baidu.com/", data = data, headers=headers)
6、使用代理
- 用法格式：
# proxies是字典格式
proxies = {
"http": "http://127.0.0.1:12333",
"https": "https://127.0.1:12333",
}
requests.get("http://www.baidu.com", proxies = proxies)
通过上图可以看出：
- 正向代理：对于浏览器知道服务器的真实地址，例如VPN
- 反向代理：浏览器不知道服务器的真实地址，例如nginx
根据代理ip的匿名程度，代理IP可以分为下面四类：
- 透明代理(Transparent Proxy)：透明代理虽然可以直接“隐藏”你的IP地址，但是还是可以查到你是谁。
- 匿名代理(Anonymous Proxy)：使用匿名代理，别人只能知道你用了代理，无法知道你是谁。
- 高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理让别人根本无法发现你是在用代理，所以是最好的选择。
在使用的时候，毫无疑问使用高匿代理效果最好
