python3登录重定向问题的处理

原文地址：http://blog.kantli.com/article/44

进行网页登录时，经常会碰到登录过程中出现好几次跳转的问题。
一般情况下，python3中的urllib.request会对重定向进行自动处理，但有些网站会在跳转过程中持续更换cookie，而urllib.request在自动处理重定向时不会更新cookie，于是有登录不成功的问题，或者说，跳转过程中因为cookie不对，又回到了登录界面。
这个问题简单粗暴处理就可以了，重写request中的重定向处理：

class NoRedirection(urllib.request.HTTPRedirectHandler):
     '''
     这个类用于处理重定向问题，原生重定向处理不会更新cookies，于是干脆不重定向，每次单独处理；
     '''
     def http_error_302(req, fp, code, msg, hdrs, newurl):
         return [req, fp, code, msg, hdrs, newurl]

然后在构建urlopener的时候，添加重定向处理参数：

cj = http.cookiejar.LWPCookieJar('Cookie.txt')
ndh = NoRedirection()
ndhOpener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj), https_handler, ndh)

这样，就可以在登录发生重定向时根据具体情况进行处理，比如说更新cookie并重新访问：

request = urllib.request.Request(loginUrl, postData, headers)
response = ndhOpener.open(request)
if response[3] == 302:
         redirectUrl = response[2].headers['Location']
         request = urllib.request.Request(redirectUrl, postData, headers)
         cj.load('tmsCookie.txt', ignore_discard=True, ignore_expires=True)
         response = ndhOpener.open(request)
         cj.save(ignore_discard=True, ignore_expires=True)

如果有多次重定向，只要进行多次处理就行了。当然，为了减少重复代码，也可以把更新cookie的逻辑直接写到重定向处理类中，但少了一些灵活性，并不一定总是合适。