静态页面爬虫

requests库简介

以下是requests库的官方介绍：

Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用。

Requests 允许你发送纯天然，植物饲养的 HTTP/1.1 请求，无需手工劳动。你不需要手动为 URL 添加查询字串，也不需要对 POST 数据进行表单编码。Keep-alive 和 HTTP 连接池的功能是 100% 自动化的，一切动力都来自于根植在 Requests 内部的 urllib3。

警告：非专业使用其他 HTTP 库会导致危险的副作用，包括：安全缺陷症、冗余代码症、重新发明轮子症、啃文档症、抑郁、头疼、甚至死亡。

上面的官方介绍看不懂没关系，总而言之，requests库是一个非常优秀的HTTP库

requests库的安装

那我们首先从requests库的安装开始。

安装非常简单，只要把以下命令复制到命令行中（不用复制‘$’），敲击回车等待安装结束就OK了

$ pip install requests

提示“Successfully installed ... ...”之类的就表示安装成功了

安装完成后就可以使用了。

一个例子

那么接下来我们就先简单地使用一下requests库，用来爬取百度的首页

# 导入requests库
import requests

url = "http://www.baidu.com"
# 用requests库中的get方法获取百度的首页
r = requests.get(url)
# 输出响应的状态代码
print(r.status_code)
# 将获取的网页源代码编码设置为‘utf-8’
r.encoding = 'utf-8'
# 输出网页HTML代码
print(r.text)

以下就是输出结果了

200
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg>... ...

200是我们通过print(r.status_code())输出的状态代码，200说明访问成功
第二行开始输出的一长串的HTML代码（省略了一部分）就是我们爬取到的网页源代码了

`r= requests.get(url)`

获得一个网页的最简单的一行代码就是r= requests.get(url)。这行代码通过get方法和url参数构建了一个Request对象（注意这里的'R'是大写）。这个方法返回的值用变量r来表示写成，这个r是一个Response对象，里面包含从服务器返回的所有资源，即爬虫返回的内容。

Response对象的基本属性

r.status_code，返回HTTP响应的状态代码，一般用来检查访问是否成功，200为成功

r.text，HTTP响应内容的字符串形式，即对应的页面内容

r.content，HTTP响应内容的二进制形式

r.encoding，从header中猜测的响应内容的编码方式

r.apparent_encoding，从响应内容中分析出的编码方式（备选编码方式）

请求头

上面在使用get方法的时候，我们只使用了url这一个参数，其实除了url之外，get方法还有其他12个控制访问的参数。其中用来添加请求头的参数就是headers。

我们可以传递一个字典作为headers参数

url = "http://www.baidu.com"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}
r = requests.get(url, headers=headers)

关于修改请求头的作用会在之后讲反爬虫的时候提到，这里就不深入写了。

响应头

我们可以通过r.headers来查看服务器响应的头部信息

以下就是它以字典的形式展示的信息

{
    'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform',
    'Connection': 'Keep-Alive',
    'Content-Encoding': 'gzip',
    'Content-Type': 'text/html',
    'Date': 'Thu, 23 Aug 2018 13:46:09 GMT',
    'Last-Modified': 'Mon, 23 Jan 2017 13:28:36 GMT',
    'Pragma': 'no-cache',
    'Server': 'bfe/1.0.8.18',
    'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/',
    'Transfer-Encoding': 'chunked'
}

编码与解码

在我们抓取一些网页的时候，尤其是一些中文网页，比如说上面的百度，你会发现你爬下来的内容中有很多的乱码，类似下面这种

è´´å\x90§=ç\x99¾åº¦ä¸\x80ä¸\x8b

其实这一般是编码的问题。之前在讲python基础的时候就已经提到了

不经过处理的r.text是基于r.encoding对r.content进行解码得到的，所以对出现的乱码，我们可以尝试手动解码。就像我在快速开始中给出的代码，通过一行r.encoding = 'utf-8'可以手动把编码改成'utf-8'

或者可以使用r.apparent_encoding来代替'utf-8'，效果基本上是一样的。

扩展

requests库的一些简单的功能就介绍到这里，除此之外，requests库还有很多高级用法，有兴趣的可以参考Requests库官方文档

参考资料：

Requests库官方文档