1.爬虫基础库之urllib

urllib库
urllib库是python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。

urlopen

在python3的urllib库中，所有和网络请求相关的方法，都被集成到urllib.request模块下，以下先来看urlopen函数的基本使用

from urllib import request

resp = request.urlopen('http://www.baidu.com')# 默认是get请求，如果加data，则变为post请求
print(resp.readlines())
print(resp.getcode())

实际上，使用浏览器访问百度，右键查看源代码。你会发现，跟我们刚才打印出来的数据是一模一样的。也就是说，上面的三行代码就已经帮我们把百度的首页的全部代码爬下来得。一个基本的url请求对应的python代码真的非常简单。
以下对urlopen函数进行详细讲解：

url：请求的url
data：请求的data，如果设置了这个值，那么将变成post请求
返回值：返回值是一个http.client.HTTPResponse对象，这个对象是一个类文件句柄对象，有read(size)，readline，readlines以及getcode等方法。

urlretrieve

urlretrieve函数：
这个函数可以方便的将网页上的一个文件保存带本地。以下代码可以方便将百度的首页下载到本地：

from urllib import request

resp = request.urlopen('http://www.baidu.com')# 默认是get请求，如果加data，则变为post请求
print(resp.readlines())
print(resp.getcode())

request.urlretrieve('http://www.baidu.com','baidu.html')

urlencode

urlencode函数：
用浏览器发送请求的时候，如果url中包含了中文或者其他特殊字符，那么浏览器会自动将我们进行编码。而如果使用代码发送请求，那么就必须手动的进行编码，这时候就应该使用urlencode函数来实现。urlencode可以把字典数据转换为URL编码的数据。示例代码如下：

from urllib import parse

data = {'name':'张三','age':18}

ps = parse.urlencode(data)
print(ps)

打印结果

name=%E5%BC%A0%E4%B8%89&age=18

parse_qs函数
可以将经过编码后的url参数进行解码。示例代码如下：

from urllib import parse

qs = 'name=%E5%BC%A0%E4%B8%89&age=18'
print(parse.parse_qs(qs))

打印结果：

{'name': ['张三'], 'age': ['18']}

urlparse和urlsplit

有时候拿到一个url，想要对这个url的各个组成部分进行分割，那么这时候就可以使用urlparse或是urlsplit进行分割。示例代码如下：

from urllib import parse

url = 'http://www.baidu.com?user=liang'
result = parse.urlsplit(url)
print('scheme:',result.scheme)
print('netloc:',result.netloc)
print('path:',result.path)
print('query:',result.query)

打印结果

scheme: http
netloc: www.baidu.com
path: 
query: user=liang

urlsplit和urlparse基本上是一模一样的。唯一不同的是，urlparse里面多了一个params属性，而urlsplit没有这个params属性。比如有一个url为url=‘http"//www.baidu.com/s;hello?wd=python#1’，那么urlparse可以获取到hello，而urlsplit不可以获取到。url中的params也用的比较少。

request.Request类

如果想要在请求的时候增加一些请求头，那么必须使用request.Request类来实现。比如要增加一个User-Agent，示例代码如下：

from urllib import request

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36'}
url = 'http://www.baidu.com'
req = request.Request(url,headers=headers)
resp = request.urlopen(req)
print(resp.read())

ProxyHandler处理器（代理设置）
很多网站会检查某一段时间某个ip的访问次数（流量统计，系统日志等），如果访问次数多的不像正常人，它会禁止这个ip的访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算ip被禁止，依然可以换个ip继续爬取。
urllib中通过ProxyHandler来设置代理服务器，下面代码说明如何使用自定义opener来使用代理

from urllib import request

handler = request.Request({'http':'218.66.161.88:31769'})
opener = request.build_opener(handler)
req = request.Request('http://httpbin.org/ip')
resp = opener.open(req)
print(resp.read())

常用的代理有：

西刺免费代理：http://www.xicidaili.com/
快代理：https://www.kuaidaili.com/
http://www.httpbin.org这个网站可以方便的查看http请求的一些参数

cookie

在网站中，http请求是无状态的，也就是说即使第一次和服务器连接后并且登录成功后，第二次请求服务器依然不能知道当前请求是哪个用户。cookie的出现就是为了解决这个问题，第一登录后服务器返回一些数据（cookie）给浏览器，然后浏览器保存在本地，当该用户发送第二次请求的时候，就会自动把上一次请求存储的cookie数据自动的携带给服务器，服务器通过浏览器携带的数据就能判断当前用户是哪个了。cookie存储的数据量是有限的，不同的浏览器有不同的存储大小，但一般不超过4kB。因此使用cookie只能存储一些小量的数据。
cookie的格式

Set-Cookie:NAME-VALUE; Expire/Max-age=DATE;Path=Path; Domain=DOMAIN_NAME; SECURE

参数意义：

NAME：Cookie的名字
VALUE：Cookie的值
Expire：Cookie的过期时间
Path：Cookie作用的路径
Domain：Cookie作用的域名
SECURE：是否只在https协议下起作用

使用cookielib和HTTPCookieProcessor模拟登录：
cookie是指网站服务器为了辨别用户和进行session（会话）跟踪，而存储在浏览器上的文本文件，cookie可以保持登录信息到用户下次与服务器的会话。
这里以人人网为例。人人网中，要访问某个人的主页，必须先登录才能访问，登录说白了就是要有cookie信息。那么如果我们想要用代码的方式访问，就必须要有正确的cookie信息才能访问。解决方案有两种，第一种是使用浏览器访问，然后将cookie信息复制下来放到headers中。示例代码如下：

from urllib import request

headers = {
    "User-Agent":'xxxxxxxx',
    "Cookie":'yyyyyyyyyyy'
}

url = 'http://www.renren.com/880151247/profile'

req = request.Request(url,headers=headers)
resp = request.urlopen(req)
with open('renren.html','w') as fp:
    fp.write(resp.read().decode('utf-8'))

但是每次在访问需要cookie的页面都要重浏览器中复制cookie比较麻烦。在python处理cookie，一般通过http.cookiejar模块和urllib模块的HTTPCookieProcessor处理模块类一起使用。http.cookiejar模块主要作用是提供用于存储cookie对象。而HTTPCookieProcessor处理器主要作用是处理这些cookie对象，并构建handler对象

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar('cookie.txt')
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

resp = opener.open('http://httpbin.org/cookies/set?course=abc')
cookiejar.save(ignore_discard=True)

查看生成的cookie.txt

# Netscape HTTP Cookie File
# http://curl.haxx.se/rfc/cookie_spec.html
# This is a generated file!  Do not edit.

httpbin.org FALSE   /   FALSE       course  abc