原文地址:http://blog.kantli.com/article/44
进行网页登录时,经常会碰到登录过程中出现好几次跳转的问题。
一般情况下,python3中的urllib.request会对重定向进行自动处理,但有些网站会在跳转过程中持续更换cookie,而urllib.request在自动处理重定向时不会更新cookie,于是有登录不成功的问题,或者说,跳转过程中因为cookie不对,又回到了登录界面。
这个问题简单粗暴处理就可以了,重写request中的重定向处理:
class NoRedirection(urllib.request.HTTPRedirectHandler):
'''
这个类用于处理重定向问题,原生重定向处理不会更新cookies,于是干脆不重定向,每次单独处理;
'''
def http_error_302(req, fp, code, msg, hdrs, newurl):
return [req, fp, code, msg, hdrs, newurl]
然后在构建urlopener的时候,添加重定向处理参数:
cj = http.cookiejar.LWPCookieJar('Cookie.txt')
ndh = NoRedirection()
ndhOpener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj), https_handler, ndh)
这样,就可以在登录发生重定向时根据具体情况进行处理,比如说更新cookie并重新访问:
request = urllib.request.Request(loginUrl, postData, headers)
response = ndhOpener.open(request)
if response[3] == 302:
redirectUrl = response[2].headers['Location']
request = urllib.request.Request(redirectUrl, postData, headers)
cj.load('tmsCookie.txt', ignore_discard=True, ignore_expires=True)
response = ndhOpener.open(request)
cj.save(ignore_discard=True, ignore_expires=True)
如果有多次重定向,只要进行多次处理就行了。当然,为了减少重复代码,也可以把更新cookie的逻辑直接写到重定向处理类中,但少了一些灵活性,并不一定总是合适。