urllib2默认的只支持HTTP/HTTPS的GET和POST方法。
urllib仅可以接受url,不能创建headers和request类实例。
但是urllib有urlencode方法用来GET查询字符串的产生。但urllib2是没有的。(所有需要urllib和urilib2一起使用)
编码工作使用urllib的urlencode()函数,帮我们将key:value这样的键值对转换成"key=value"这样的字符串,解码工作可以使用urllib的unquote()函数。(注意,不是urllib2.urlencode() )
代码1:
# IPython2 中
In [1]: import urllib
In [2]: word = {"wd" : "你好"}
# 通过urllib.urlencode()方法,将字典键值对按URL编码转换,从而能被web服务器接受。
In [3]: urllib.urlencode(word)
Out[3]: "wd=%E4%BD%A0%E5%A5%BD"
# 通过urllib.unquote()方法,把 URL编码字符串,转换回原先字符串。
In [4]: print urllib.unquote("wd=%%E4%BD%A0%E5%A5%BD")
wd=你好
一般HTTP请求提交的数据,需要编码程URL编码格式,作为url的一部分或者作为Request对象的参数。
GET方式
get请求用于从服务器获取数据。例如,利用百度搜索‘腾飞五千年’
注意url的内容:
https://www.baidu.com/s?wd=%E8%85%BE%E9%A3%9E%E4%BA%94%E5%8D%83%E5%B9%B4&f=12&rsp=0&oq=%E8%85%BE%E9%A3%9E%E5%8D%83%E5%B9%B4&ie=utf-8&usm=3&rsv_pq=dcc020d8001adada&rsv_t=1b44d110How0IFXusrX%2B5wwnXs4rvXZFFJsckD%2BRDxm04HOYoDdv%2BSPGVgo&rqlang=cn```
在s?wd=后面是一串字符,这就是urllib编码后的结果。
我们可以尝试用默认的Get方式发送请求。
代码2:
coding=utf-8
import urllib
import urllib2
urllib是负责url的编码处理
word = {'wd' : '腾飞千年'}
url = 'http://www.baidu.com'
用urlencode方法把内容转换为url编码格式(字符串)
word = urllib.urlencode(word)
newurl = url + '/s?' + word
headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}
https://www.baidu.com/s?wd=python
request = urllib2.Request(newurl, headers = headers)
response = urllib2.urlopen(request)
html = response.read()
filename = 'name.txt'
with open(filename, 'w') as f:
f.write(html)
print html