使用urllib和urllib2模块。
简单的下拉一个网页
import urllib2
response = urllib2.urlopen("http://120.26.45.230/dis/forum.php")
print response.read()
urlopen一般接受三个参数,url、date、timeout
-
url:请求的 URL -
data:访问 URL 时要传送的数据，默认是none -
timeout:这是超时时间，默认是socket._GLOBAL_DEFAULT_TIMEOUT
构造 Request:
和上边运行结果一样，中间多了一个request对象，逻辑上更清晰
import urllib2
request = urllib2.Request("http://120.26.45.230/dis/forum.php")
response = urllib2.urlopen(request)
print response.read()
在服务器上看nginx 的访问日志是：
120.26.42.23 - - [29/Jun/2016:17:30:58 +0800] "GET /dis/forum.php HTTP/1.1" 200 12964 "-" "Python-urllib/2.7"
POST、GET 数据传送
大部分网站是动态页面，需要动态传递参数，如登录网站的时候。
数据传送分为POST和GET两种方式，两种方式有什么区别呢？
最重要的区别是GET方式是直接以链接形式访问，链接中包含了所有的参数，当然如果包含了密码的话是一种不安全的选择，不过你可以直观地看到自己提交了什么内容。POST则不会在网址上显示所有的参数，不过如果你想直接查看提交了什么就不太方便了，大家可以酌情选择。
POST 方式
下边方式只是介绍 POST 和 GET 方式，可能会被屏蔽掉，因为没有 headers 信息
import urllib
import urllib2
values = {"username":"1016903103@qq.com","password":"XXXX"}
data = urllib.urlencode(values)
url = "https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn"
request = urllib2.Request(url,data)
response = urllib2.urlopen(request)
print response.read()
GET 方式
import urllib
import urllib2
values={}
values['username'] = "1016903103@qq.com"
values['password']="XXXX"
data = urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request = urllib2.Request(geturl)
response = urllib2.urlopen(request)
print response.read()
设置 Headers
有些网站会有安全策略，会过滤 Headers，比如上边的访问肯定会被屏蔽。
120.26.42.23 - - [29/Jun/2016:17:30:58 +0800] "GET /dis/forum.php HTTP/1.1" 200 12964 "-" "Python-urllib/2.7"
设置 headers 中的 agent。
#!/usr/bin/env python
#coding=utf-8
import urllib
import urllib2
# 指定访问的 url 地址
url = "http://120.26.45.230/dis/forum.php"
# 设置头信息中的请求agent
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
# 用户名和密码，如果不用可以省略
values = {'username':'admin','password':'zhaimi'}
# User-Agent 设置agent 信息，Referer 来对付防盗链
headers = {'User-Agent':user_agent,'Referer':'http://www.zhihu.com/articles'}
# 利用urllib的urlencode方法将字典编码
data = urllib.urlencode(values)
# 请求信息，如果不用密码和用户名，可以改成request = urllib2.Request(url,"",headers)
request = urllib2.Request(url,data,headers)
response = urllib2.urlopen(request)
print response.read()
Proxy 代理的设置
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
下载，比如一个图片，或者一个其他的文件
使用urllib.urlretrieve方法.
import urllib
url = "http://nginx.org/download/nginx-1.8.1.tar.gz"
urllib.urlretrieve(url,"nginx.tar.gz")
