python-使用urllib2获取数据

urllib2官网手册

#!/usr/bin/python
# coding:utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')
import urllib2
import urllib
import json

# from bs4 import BeautifulSoup

import urllib

#GET start
url = 'http://kaoshi.edu.sina.com.cn/college/scorelist?tab=batch&wl=1&local=2&batch=&syear=2013'
request = urllib2.Request(url=url)  #首先去请求一个url
response = urllib2.urlopen(request,timeout=20)  #请求之后把请求去打开
result = unicode(response.read())   #打开之后得到返回去读取   response.read()直接这样使用,可能字符集会有问题
print result
#GET end

#POST start
url = 'http://shuju.wdzj.com/depth-data.html'
data = urllib.urlencode({'type1': 1, 'type2': 2, 'status': 0, 'wdzjPlatId': 59})  #这个是请求的时候带的post参数,此处应该是json格式
request = urllib2.Request(url)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor())
response = opener.open(request, data)
result = response.read()

# print result  #返回的是json字符串
# print json.loads(result) #把json字符串转换成字典
# for k in json.loads(result).keys():
#   print k

#POST end

总结

如果是请求的API,一般都是json格式。处理json格式为字典的方式是
import json
print json.loads(result) #把json字符串转换成字典

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容