序

上篇分析了模拟登陆的流程，以及HTTP请求和回应，下面我们开始编码实现。

编码

准备

安装requests, pip install requests

使用requests请求比使用urllib方便了很多，下面简单封装了一个http请求函数fetch:

'''
默认为GET，如果赋值data后则为POST方式
'''
def fetch(self, url, data=None, **kw):
    if data is None:
        func = self.session.get
    else:
        kw['data'] = data
        func = self.session.post
    return func(url, **kw)

使用QQ登录

点击‘QQ登录’按钮后会以GET方式请求http://passport.jikexueyuan.com/connect/qq, 请求代码如下:

self.jkqqurl='http://passport.jikexueyuan.com/connect/qq'

response = self.fetch(self.jkqqurl)
self.state = re.findall('&state=(.*?)\&', response.url)[0]          #(.*?), 括号为返回匹配值，即=后面的
self.client_id = re.findall('&client_id=(.*?)\&', response.url)[0]

因为下面向腾讯请求认证需要学院返回的这两个参数:STATE, CLIENTID, 这里记录下来。

请求登录页面

通过上步请求后，虽然学院发起了向腾讯认证服务器的请求，但是因为没有登录会被重新定向至登录授权页面，
这里我们手动请求一次封装在IFrame中的登录页面：

self.xloginurl='http://xui.ptlogin2.qq.com/cgi-bin/xlogin'

g = self.fetch(self.xloginurl, params = {
        'appid': self.appid,
        'style': 23,
        'login_text': '授权并登录',
        'hide_title_bar': 1,
        'target': 'self',
        's_url': self.loginjumpurl,
        'pt_3rd_aid': 101119675,
        'pt_feedback_link': self.feedbackurl,
    }).text

这步操作理论上会产生一些登录请求的会话信息，还是尽量模拟浏览器操作，后面再作精简。

登录校验

分析来看，腾讯根据登录请求类型来产生校验码图片或文字型校验码(如果不需要校验码图片)，看代码：

self.checkurl2='http://check.ptlogin2.qq.com/check'

g = self.fetch(self.checkurl2, params = {
        'regmaster': '',
        'pt_tea': 1,
        'pt_vcode': 1,
        'uin': self.user,
        'appid': self.appid,
        'js_ver': 10120,
        'js_type': 0,
        'login_sig': self.session.cookies['pt_login_sig'],
        'u1': self.loginjumpurl,
    }).text
v = re.findall('\'(.*?)\'', g)
vcode = v[1]
uin = v[2]

这里pt_login_sig是从session中取得，requests从session中获取参数还是很方便的。

返回值格式：

ptui_checkVC(
    '0',        #参数为是否需要校验码
    '!JCD',     #系统生成的校验码
    '\x00\x00\x00\x00\x3x\x2x\x3x\x3x', #用户ID进行转化后的值
    '47e6754aafb6138d4cdcdfdd1602bc8df9d29893cc705484d148adb079105ebba462f8cd7c18025441c5309c1b50378059fb5a0fcd18b206', #ptvfsession，后面登录使用
    '0');

登录

登录时判断是否需要校验码，如果需要则下载校验码图片。
开篇说过，腾讯第三方登录认证是不需要校验码的，从上面结果也能看出v[0]一直为0

self.loginurl2='http://ptlogin2.qq.com/login'

if v[0] == '1': # 需要校验码
    vcode = self.getVerifyCode(vcode) #获得校验码
g = self.fetch(self.loginurl2, params = {
    'u': self.user,
    'verifycode': vcode,
    'pt_vcode_v1': 0,
    'pt_verifysession_v1': self.session.cookies['ptvfsession'],
    'p': self.pwdencode(vcode, uin, self.pwd),
    'pt_randsalt': 0,
    'u1': self.loginjumpurl,
    'ptredirect': 0,
    'h': 1,
    't': 1,
    'g': 1,
    'from_ui': 1,
    'ptlang': 2052,
    'action': self.action,
    'js_ver': 10138,
    'js_type': 0,
    'login_sig': self.session.cookies['pt_login_sig'],
    'pt_uistyle': 33,
    'aid': self.appid,
    'pt_3rd_aid': 101119675,
}).text

登录处理这块处理的东西较多，分开看：

• ptvfsession和pt_login_sig都是从cookies中取得

• 密码加密

  为了防止密码被截取，肯定做足了混淆加密，具体算法可以参考c_login_2.js中的实现，这里参考了qqlib的代码http://www.jianshu.com/p/4217d8f3574b：

def fromhex(self, s):
    # Python 3: bytes.fromhex
    return bytes(bytearray.fromhex(s))

#pip install rsa
pubKey=rsa.PublicKey(int(
    'F20CE00BAE5361F8FA3AE9CEFA495362'
    'FF7DA1BA628F64A347F0A8C012BF0B25'
    '4A30CD92ABFFE7A6EE0DC424CB6166F8'
    '819EFA5BCCB20EDFB4AD02E412CCF579'
    'B1CA711D55B8B0B3AEB60153D5E0693A'
    '2A86F3167D7847A0CB8B00004716A909'
    '5D9BADC977CBB804DBDCBA6029A97108'
    '69A453F27DFDDF83C016D928B3CBF4C7',
    16
), 3)

def pwdencode(self, vcode, uin, pwd):
    # uin is the bytes of QQ number stored in unsigned long (8 bytes)
    salt = uin.replace(r'\x', '')
    h1 = hashlib.md5(pwd.encode()).digest()
    s2 = hashlib.md5(h1 + self.fromhex(salt)).hexdigest().upper()
    rsaH1 = binascii.b2a_hex(rsa.encrypt(h1, self.pubKey)).decode()
    rsaH1Len = hex(len(rsaH1) // 2)[2:]
    hexVcode = binascii.b2a_hex(vcode.upper().encode()).decode()
    vcodeLen = hex(len(hexVcode) // 2)[2:]
    l = len(vcodeLen)
    if l < 4:
        vcodeLen = '0' * (4 - l) + vcodeLen
    l = len(rsaH1Len)
    if l < 4:
        rsaH1Len = '0' * (4 - l) + rsaH1Len
    pwd1 = rsaH1Len + rsaH1 + salt + vcodeLen + hexVcode
    saltPwd = base64.b64encode(
        tea.encrypt(self.fromhex(pwd1), self.fromhex(s2))
    ).decode().replace('/', '-').replace('+', '*').replace('=', '_')
    return saltPwd

• 获取校验码：

#这里只是给出给参考，从WebQQ登录查询校验码过程获得
self.imgurl='http://captcha.qq.com/getimage'
def getVerifyCode(self, vcode):
    r = self.fetch(self.imgurl, params = {
        'r':0,
        'appid':self.appid,
        'uin':self.user,
        'vc_type':vcode,
    })
    tmp = tempfile.mkstemp(suffix = '.jpg')
    os.write(tmp[0], r.content)
    os.close(tmp[0])
    os.startfile(tmp[1])
    vcode = input('Verify code: ')
    os.remove(tmp[1])
    return vcode

如果登录成功则返回值如下：
ptuiCB('0','0','http://openapi.qzone.qq.com/oauth/login_jump','0','登录成功！', 'XXXX');

登录跳转

代码很简单:

self.loginjumpurl='http://openapi.qzone.qq.com/oauth/login_jump'
g = self.fetch(self.loginjumpurl).text

这一步会返回这样一个页面:

<!DOCTYPE html>
<html lang="zh-cn">
<head>
    <meta charset="UTF-8">
    <script>
        document.domain = 'qq.com';
        if(parent.agree){
            parent.agree()
        }else{
            parent.isAgreed = true;
        }
    </script>
</head>
<body>
</body>
</html>

这一步，对于模拟情况作用不大,对于浏览器的话会执行上报报告，表格提交等操作，后面会模拟。
重点是JS块中的parent.agree详细操作流程，可以从qlogin_v2.js中分析到。

上传报告

这两个报告没有特别的:

self.appsupporturl='http://appsupport.qq.com/cgi-bin/appstage/mstats_report'
self.reporturl='http://cgi.connect.qq.com/report/report_vm'

g = self.fetch(self.appsupporturl, params = {
    'report_type': '4',
    'platform': 8,
    'app_id': '101119675',
    'result': 0,
    'act_type': 2,
    'uin': self.user,
    'login_status': 2,
    'via': 1,
    't': int(time.time()),
    }).text
#正确的话返回{"ret":0,"msg":"成功"}

g = self.fetch(self.reporturl, params = {
        'tag': 0,
        'log': '101119675_10613_0',
        't': int(time.time()),
    }).text

#正确的话返回{"ec":0}

获取授权

self.authurl='https://graph.qq.com/oauth2.0/authorize'
#更新请求头，防止被屏蔽
self.session.headers.update({'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240'})

token = self.gettoken()
data = {
    'response_type': 'code',
    'client_id': 101119675,
    'redirect_uri': 'http://passport.jikexueyuan.com/connect/success?t=qq',
    'scope': 'get_user_info',
    'state': self.state,
    'src': '1',
    'update_auth': '1',
    'openapi': '80901010',
    'g_tk': token,
    'auth_time': int(time.time()),
    'ui': '556F791F-682E-47B7-BC66-CE179327DB04',#UID，可以随机生成，这里简单使用了抓包结果
}
response = self.fetch(self.authurl, data = data)

gettoken定义如下：

def gettoken(self):
    str = self.session.cookies['skey']
    hash = 5381
    for i in str:
        t = (hash << 5) + ord(i)
        hash = hash + t
    return hash & 0x7fffffff

如果成功的话，则会跳转至学院主页。
如果失败，需要分析是哪一步错了，主要有：密码，STATE, pt_login_sig. ptvfsession。

试验

self.session.headers.update({'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240'})
g = self.fetch('http://www.jikexueyuan.com/course/2185_1.html?ss=1').text
print g

查看打印信息，看是否已经登录即可。

总结

编码流程基本是针对登录过程抓包的实现，比较原始，并且刚开始写python程序，后面再整理出一个干净的版本。

到现在为止所做的足够对学院进行爬虫分析了，后续更新。

需要注明的是，代码主要参考了qqlib, 作者@JetLu http://www.jianshu.com/users/4d556dbb651e/latest_articles