学爬虫的第三天

我感觉 $requests$ 库是一个可以完全取代 $urllib$ 库的库，因为我接下来所学的内容基本上就是前面 $urllib$ 库的重复操作，但是代码量会稍微少一些、理解起来也容易些罢了，或者我可以借助 $Requests$ 官方文档的几句话（官方调戏如下）：

Requests：让 HTTP 服务人类

学习的内容：（requests库）get

import requests


params = {
    'wd': '中国'
}
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
}
url = 'https://www.baidu.com/s'
resp = requests.get(url, params=params, headers=headers)  # 带参数申请

with open('baidu.html', 'w', encoding='utf-8') as fp:
    fp.write(resp.content.decode('utf-8'))

（requests库）get 的其他内容【承接上文】

resp.url                       # 返回 url 地址
resp.encoding                  # 返回响应头部字符编码，准确性较低，省时
resp.apparent_encoding         # 返回响应头部字符编码，准确性较高，耗时
resp.status_code               # 返回响应码，200 为正常

type(resp.text)                # str 类型
type(resp.content)             # byte 类型
resp.text                      # 根据 resp.encoding 自动转换网页内容，准确性较低
resp.content                   # 显示网页原内容，即 byte 类型网页内容
resp.content.decode('utf-8')   # 显示 str 类型网页内容

其实上面的 $get$ 的方法相当于筛选所需内容（ $html$ ）并返回

在百度上搜索中国，并接收响应 resp，对于 resp.text 和 resp.content.decode('utf-8')，虽然都是 str 类型网页内容，但编码方式不同，一般使用 utf-8 的编码方式是正确的，使用 resp.content.decode('utf-8') 打开后内容如下

百度搜中国的网页

学习的内容：（requests库）post

import requests


data = {
    'first': 'true',
    'pn': '1',
    'kd': 'Python'
}
headers = {
    'referer': 'https://www.lagou.com/jobs/list_Python?px=default&city=%E6%AD%A6%E6%B1%89',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
}
url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&city=%E6%AD%A6%E6%B1%89&needAddtionalResult=false'
resp = requests.post(url, data=data, headers=headers)

print(type(resp.json()))  # dict 类型
print(resp.json())  # 将 json 数据中的字符串转换成列表或字典的形式

打印如下：

<class 'dict'>
{'status': False, 'msg': '您操作太频繁,请稍后再访问', 'clientIp': '223.73.72.68', 'state': 2402}

没错，又是那个网站（拉钩网），我又爬取失败了，其实这也在我的预料之中，因为我感觉 $requests$ 库就是一个 $urllib$ 库的翻版，使用方法底层应该还是差不多的，所以这次爬取的结果和上次也应该是一样的

其实 $post$ 和 $get$ 大同小异的啦，只是请求的方式不同罢了（根据目标网页的指定方式来），两者使用的方法还是非常类似的

学习的内容：requests.requests 库

import requests

# 模板
request.requests(method, url, **kwargs)


# method
requests.post()
requests.get()


# **kwargs
params = {
    'wd': 'xiaotuan'
}
requests.method(url, params=params)  # 网址紧跟着的搜索参数

data = {
    'kd': 'Python'
}
requests.method(url, data=data)  # 网页 From data 的数据域

headers = {
    'referer': '123',
    'user-agent': '456'
    'cookie': '798'
}
requests.method(url, headers=headers)  # 网页 Request Headers 的请求头

proxy = {
    'http': '101.17.132.186:18661'
}
requests.method(url, proxies=proxy)  # 加入 ip 代理

requests.method(url, verify=False)  # 处理不信任的 SSL证书的网站

resp = requests.method()  # 返回的响应头
resp.json()  # 将 json 数据中的字符串转换成列表或字典的形式

resp = requests.method()  # 返回的响应头
resp.cookies.get_dict()  # 以字典的形式获取 cookie 信息

学习的内容：（requests库）session

import requests


data = {
    'email': '13727077344',
    'password': ''          # 密码不告诉你嘿嘿
}
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
}

login_url = 'http://www.renren.com/PLogin.do'
session = requests.Session()
session.post(login_url, data=data, headers=headers)

dapeng_url = 'http://www.renren.com/880151247/profile'
resp = session.get(dapeng_url)

with open('renren.html', 'w', encoding='utf-8',) as fp:
    fp.write(resp.content.decode('utf-8'))

我感觉 $session$ 很有几天前学的 $opener$ 的味道， $session$ 对象能够帮我们在不同请求中共享参数，也会在同一个 $session$ 实例发出的所有请求之间保持 $cookies$