一、请求方式
1.1 get
特点：查询参数在url地址中显示！
- 百度贴吧抓取练习。
eg.（百度贴吧）
# 需求：输入要爬取的贴吧主题，输入爬取的起始页和终止页，把每一页的内容保存到本地。
# 原网页前三页地址：
# 'https://tieba.baidu.com/f?kw=%E6%88%98%E6%96%97%E6%9C%BA&ie=utf-8&pn=0'
# 'https://tieba.baidu.com/f?kw=%E6%88%98%E6%96%97%E6%9C%BA&ie=utf-8&pn=50'
# 'https://tieba.baidu.com/f?kw=%E6%88%98%E6%96%97%E6%9C%BA&ie=utf-8&pn=100'
# pg = (当前页数-1)*50，kw 贴吧的主题
import random
import urllib.request
import urllib.parse
# 随机获取一个User-Agent
headers_list = [{'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko)'
' Chrome/14.0.835.163 Safari/535.1'},{'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}]
headers = random.choice(headers_list)
name = input('请输入贴吧名称：')
s = int(input('请输入起始页：'))
e = int(input('请输入结束页：'))
kw = {'kw':name} # 对贴吧名称name进行编码
kw = urllib.parse.urlencode(kw)
# 拼接url，发起请求并获取响应
for i in range(s,e+1):
pg = (i-1) * 50
base_url = 'https://tieba.baidu.com/f?'
url = base_url + kw +'&pg=' + str(pg) # 'https://tieba.baidu.com/f?kw=%E6%88%98%E6%96%97%E6%9C%BA&ie=utf-8&pn=0'
# 发起请求 获取响应
req = urllib.request.Request(url,headers=headers)
response = urllib.request.urlopen(req)
html = response.read().decode('utf-8')
# 写入文件
file_name = '第' + str(i) + '页.html'
with open(file_name,'w',encoding='utf-8') as k:
print('正在爬取%d页' % i)
k.write(html)
结果如下：
image.png
1.2 post
特点：在Request⽅法中添加data参数。
urllib.request.Request(url,data=data,headers=headers)
data ：表单数据以bytes类型提交，不能是str。
eg.（有道翻译）
image.png
二、requests模块（第三方模块）
2.1 安装
- pip install requests
- 在开发⼯具中安装。
2.2 常用方法
-
requests.get（⽹址）,添加headers请求头防止反爬！
eg.
image.png
2.3 响应对象response的⽅法
response.text
返回unicode格式的数据(str)，需要返回网页源码、文件时使用。-
response.content
返回字节流数据(⼆进制)，需要返回视频、音频时使用。
eg.
image.png -
response.content.decode('utf-8')
⼿动进⾏解码
eg.
image.png -
response.url
返回url
image.png response.encode() = ‘编码’
2.4 requests模块发送 POST请求
image.png
2.5 requests设置代理
- 使⽤requests添加代理只需要在请求⽅法中(get/post)传递proxies参数就可以了。
- 代理⽹站
⻄刺免费代理IP：http://www.xicidaili.com/
快代理：http://www.kuaidaili.com/
代理云：http://www.dailiyun.com/
eg.
image.png
2.6 处理不信任的SSL证书
-
SSL证书是数字证书的⼀种，类似于驾驶证、护照和营业执照的电⼦副本。因为配置在服务器上，也称为SSL服务器证书。SSL 证书就是遵守 SSL协议，由受信任的数字证书颁发机构CA，在验证服务器身份后颁发，具有服务器身份验证和数据传输加密功能。
eg.
image.png
2.7 requests 模块源码分析
2.8 cookie
-
cookie ：通过在客户端记录的信息确定⽤户身份。
HTTP是⼀种⽆连接协议,客户端和服务器交互仅仅限于 请求/响应过程,结束后断开，下⼀次请求时，服务器会认为是⼀个新的客户端,为了维护他们之间的连接，让服务器知道这是前⼀个⽤户发起的请求,必须在⼀个地⽅保存客户端信息。
eg.
image.png
image.png
2.9 session
- session ：通过在服务端记录的信息确定⽤户身份，这⾥这个session就是⼀个指的是会话。
eg.
