一、请求方式

1.1 get

特点：查询参数在url地址中显示！

• 百度贴吧抓取练习。
  eg.（百度贴吧）

# 需求：输入要爬取的贴吧主题，输入爬取的起始页和终止页，把每一页的内容保存到本地。
# 原网页前三页地址：
# 'https://tieba.baidu.com/f?kw=%E6%88%98%E6%96%97%E6%9C%BA&ie=utf-8&pn=0'
# 'https://tieba.baidu.com/f?kw=%E6%88%98%E6%96%97%E6%9C%BA&ie=utf-8&pn=50'
# 'https://tieba.baidu.com/f?kw=%E6%88%98%E6%96%97%E6%9C%BA&ie=utf-8&pn=100'
# pg = (当前页数-1)*50，kw 贴吧的主题

import random
import urllib.request
import urllib.parse

# 随机获取一个User-Agent
headers_list = [{'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko)'
 ' Chrome/14.0.835.163 Safari/535.1'},{'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0'}]
headers = random.choice(headers_list)

name = input('请输入贴吧名称：')
s = int(input('请输入起始页：'))
e = int(input('请输入结束页：'))

kw = {'kw':name}  # 对贴吧名称name进行编码
kw = urllib.parse.urlencode(kw)

# 拼接url，发起请求并获取响应
for i in range(s,e+1):
    pg = (i-1) * 50
    base_url = 'https://tieba.baidu.com/f?'
    url = base_url + kw +'&pg=' + str(pg)  # 'https://tieba.baidu.com/f?kw=%E6%88%98%E6%96%97%E6%9C%BA&ie=utf-8&pn=0'

    # 发起请求 获取响应
    req = urllib.request.Request(url,headers=headers)
    response = urllib.request.urlopen(req)
    html = response.read().decode('utf-8')
    # 写入文件
    file_name = '第' + str(i) + '页.html'
    with open(file_name,'w',encoding='utf-8') as k:
        print('正在爬取%d页' % i)
        k.write(html)

结果如下：

image.png

1.2 post

特点：在Request⽅法中添加data参数。
urllib.request.Request(url,data=data,headers=headers)
data ：表单数据以bytes类型提交，不能是str。
eg.（有道翻译）

image.png

二、requests模块（第三方模块）

2.1 安装

• pip install requests
• 在开发⼯具中安装。

2.2 常用方法

• requests.get（⽹址）,添加headers请求头防止反爬！
  eg.
  
  image.png

2.3 响应对象response的⽅法

• response.text
  返回unicode格式的数据(str)，需要返回网页源码、文件时使用。

• response.content
  返回字节流数据(⼆进制)，需要返回视频、音频时使用。
  eg.
  

  image.png

• response.content.decode('utf-8')
  ⼿动进⾏解码
  eg.
  

  image.png

• response.url
  返回url
  

  image.png

• response.encode() = ‘编码’

2.4 requests模块发送 POST请求

image.png

2.5 requests设置代理

• 使⽤requests添加代理只需要在请求⽅法中(get/post)传递proxies参数就可以了。
• 代理⽹站
  ⻄刺免费代理IP：http://www.xicidaili.com/
  快代理：http://www.kuaidaili.com/
  代理云：http://www.dailiyun.com/
  eg.
  
  image.png

2.6 处理不信任的SSL证书

• SSL证书是数字证书的⼀种，类似于驾驶证、护照和营业执照的电⼦副本。因为配置在服务器上，也称为SSL服务器证书。SSL 证书就是遵守 SSL协议，由受信任的数字证书颁发机构CA，在验证服务器身份后颁发，具有服务器身份验证和数据传输加密功能。
  eg.

  
  
  image.png

2.7 requests 模块源码分析

2.8 cookie

• cookie ：通过在客户端记录的信息确定⽤户身份。
  HTTP是⼀种⽆连接协议,客户端和服务器交互仅仅限于 请求/响应过程,结束后断开，下⼀次请求时，服务器会认为是⼀个新的客户端,为了维护他们之间的连接，让服务器知道这是前⼀个⽤户发起的请求,必须在⼀个地⽅保存客户端信息。
  eg.

  
  
  image.png

image.png

2.9 session

• session ：通过在服务端记录的信息确定⽤户身份，这⾥这个session就是⼀个指的是会话。
  eg.