爬虫-Python学习之Requests库的使用

Requests库安装

pip install requests
注意:如果是在MAC的python3中安装,使用pip3 install requests

Requests库的方法

Request的基础方法

Requests常用方法

Requests的get()方法

get方法是我们做为爬虫最常用的使用方法

使用Requests模块,在一开始要导入Requests模块

import requests

然后获取某个网页

r = requests.get('http://www.baidu.com')

对响应内容进行处理,requests.get()方法会返回一个Response对象r,我们可以根据该对象的一些属性来获取请求的结果


Response属性

Requests会基于HTTP头部对相应的编码做出有根据的猜测,当访问r.text的时候。Requests会使用其推测的文本编码,你可以找出Requests 使用了什么编码,并且能够使用 r.encoding 属性来改变它:

#r.encoding是推测的文本编码
print(r.encoding)
ISO-8859-1

#r.apparent_encoding是分析响应内容的文本编码
print(r.apparent_encoding)
utf-8

#可以通过改变r.encoding编码的格式来获取正确编码的内容r.text
r.encoding = r.apparent_encoding

如果想要查看请求是否获得成功,r.status_code属性可以获取到请求状态。200表示连接成功通过

Requests的head()方法

head()方法

Requests的post()方法

post根据用户提交数据的不同,会在服务器端做出相应的处理

post方法是向数据库提交一个字符串

提交字符串

post方法是向数据库提交一个字典数据

提交字典

Requests的request()方法

request方法为Requests库的基础方法,我们进入Requests库中查看,我们调用request.get()方法其实是Requests库为来方便我们使用提供的一种封装方法。

Request库的基础方法

request方法有三个参数

requests.request(method,url,**kwargs)

method:请求方式,对应get/put/post等7中

method请求方式

** kwargs:控制访问的参数,共13个

参数集合

1.params:字典或字节序列,作为参数增加到URL中

kv = {'key':'value','key2':'value2'}
r = requests.request('GET','http://www.baidu.com',params=kv)
print(r.url)
http://www.baidu.com/?key=value&key2=value2

2.data:字典、字节序或文件对象,作为Request的内容,重点是作为向服务器提供或提交资源时使用

kv = {'key':'value','key2':'value2'}
r = requests.request('POST','http://www.baidu.com',data=kv)
body = '主体内容'
r = requests.request('POST','http://www.baidu.com',data=body)

3.json:JSON格式的数据,作为request的内容

kv = {'key':'value'}
r = requests.request('POST','http://www.baidu.com',json=kv)

4.headers:字典,HTTP定制头,可以模拟任意的浏览器信息向服务器发起访问

hd = {'user-agent':'Chrome/10'}
r = requests.request('POST','http://www.baidu.com',headers=hd)

5.cookies:字典或CookieJar,Request中的cookie

6.auth:元祖,支持HTTP认证功能

7.files:字典类型,传输文件,向某一个链接提供一个文件

fs = {'file':open('/Users/Desktop/Video/Python/5.Requests库的主要方法解析.mp4','rb')}
r = requests.request('POST','http://www.baidu.com',files=fs)

8.timeout:设定超时时间,秒为单位

r = requests.request('GET','http://www.baidu.com',timeout=10)

9.proxies:字典类型,设定访问代理服务器,可以增加登录认证

pxs = {'http':'http://user:pass@10.10.10.1:80',
       'https':'https://10.10.10.1:8080'}
r = requests.request('GET','http://www.baidu.com',proxies=pxs)

10.allow_redirects: True/False,默认为Ture,重定向开关

11.stream: True/False,默认为Ture,获取内容是否立即下载

12.verify: True/False,默认为Ture,认证SSL证书开关

13.cert:本地SSL证书路径

推荐阅读

HTPP的协议与Requests库方法的关系

参考网址

Requests库官方文档

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,868评论 18 139
  • By 一页编程 下面我们介绍一下requests库主要方法,并且对这些方法进行解析。Requests库与HTTP...
    一页编程阅读 1,334评论 0 9
  • requests(爬虫系列之一) 由于最近工作中,与同事对接模拟手机浏览器进行广告模拟跳转。又一次接触用到爬虫的知...
    若与阅读 39,195评论 7 76
  • 安装 pip install requests Response对象 Response对象包含服务器返回的所有信息...
    红茶绅士阅读 1,255评论 0 2
  • 只欠夕阳河畔影,奈何无恨却逢春。
    落絮悄悄阅读 222评论 0 0