urllib模块
作用
主要用于从网页上抓取数据。以及封装了一些常用的URL编码解码函数
使用方法
最简单的使用， 以打开百度为例
import urllib
url = 'http://www.baidu.com'
print urllib.urlopen(url).read()
注意点:
- url必须加上协议头"http://", 否则会不起作用，认为是打开本地文件
- urlopen默认是get方法, 加上data参数就是post
使用代理
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
关于代理，还需要说一点时，使用urllib.open()时默认会使用系统环境变量http_proxy设置的代理
返回值
urllib.open()的返回值的一些方法与操作本地文件一样。如
import urllib
url = 'http://www.baidu.com'
res = urllib.urlopen(url)
# 读取所有内容
print res.read()
# 读取一行内容
print res.readline()
# 按行读取，返回一个列表
print res.readlines()
# 读取文件描述符(类似shell脚本里错误重定向里的0, 1, 2)
print res.fileno()
# 获取返回的地址, 请求的链接可能被重定向过
print res.geturl()
# 获取请求获取的http状态码
print res.getcode()
# 返回请求的headers信息,类似curl -I 命令
print res.info()
下载网页
import urllib
# 保存网页内容到文件
url = 'http://www.baidu.com'
filename, headers = urllib.urlretrieve(url, '/tmp/baidu.html')
print filename
print headers
# 清理之前调用urlretrieve的缓存信息
urllib.urlcleanup()
url编码解码
对字符串进行URL编码
# quote对字符串进行编码
print urllib.quote('abc def') # abc%20def
# safe参数指定不需要编码的字符, 默认值是'/'
print urllib.quote('http://www.baidu.com') # http%3A//www.baidu.com
print urllib.quote('http://www.baidu.com', safe=':/') # http://www.baidu.com
print urllib.quote('example@foxmail.com', safe=':/') # example%40foxmail.com
# quote_plus跟quote一样,只是把空格转换成"+"
print urllib.quote_plus('abc def') # abc+def
# unquote对字符串进行解码, 与quote作用相反
print urllib.unquote("http%3A//www.baidu.com") # http://www.baidu.com
print urllib.unquote_plus("abc+def") # abc def
# urlencode将字典或元祖序列转换成字符串
print urllib.urlencode({"name": 'xxx', 'age': [10, 11]}， doseq=0) # age=%5B10%2C+11%5D&name=xxx
print urllib.urlencode((("name", 'xxx'), ('age', [10,11])))
# doseq参数表示是否把列表解析为重复的参数
print urllib.urlencode({"name": 'xxx', 'age': [10, 11]}, doseq=1) # age=10&age=11&name=xxx
# 查看当前使用的代理
print urllib.getproxies()
一些例子
GET请求
>>> import urllib
>>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
>>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query?%s" % params)
>>> print f.read()
POST请求
>>> import urllib
>>> params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
>>> f = urllib.urlopen("http://www.musi-cal.com/cgi-bin/query", params)
>>> print f.read()
使用代理
>>> import urllib
>>> proxies = {'http': 'http://proxy.example.com:8080/'}
>>> opener = urllib.FancyURLopener(proxies)
>>> f = opener.open("http://www.python.org")
>>> f.read()
