我们之前介绍了urllib库的使用,其是作为爬虫入门工具来介绍的,对新手理解python爬虫的整个流程很有帮助。在掌握了爬虫基本思想流程后,就需要引入更高级的工具来提高我们的开发效率,这一节就开始给大家介绍Requests库的使用。
安装
安装命令:pip install requests
库的引入
直接上代码:
输出(结果类型、状态码、Cookies和网页文本)结果为:
基本请求
Requests库提供了http所有的请求方法:
r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")
r = requests.options("http://httpbin.org/get")
GET请求
最基本的get请求可以用get方法:
r = requests.get("http://httpbin.org/get")
如果想要想要传递参数,可以利用params参数:
输出结果为:http://httpbin.org/get?key1=value1&key2=value2
如果想传递headers,可以利用headers参数:
POST请求
对于POST请求,当我们传递参数的时候,一般是利用data这个参数,直接上代码:
输出结果为:
从输出结果中的“form”值来看传参数成功了,并由服务器返回给我们。
有时我们不仅要把表单数据传递给服务器,有时还需要将json格式文件数据传递过去,这时就需要json.dumps()方法将json文件序列化后再传递,上代码:
输出结果如下:
如果我们想上传一个文件,就需要用到files这个参数,比如文件是a.txt,里面的内容是“hello,word”,直接上代码:
输出结果为:
从返回的files值来看,文件中的内容已被传递给服务器啦。
下篇待续。。。