2019.9月最新爬取微信公众号历史文章的办法

版权申明

原创文章:本博所有原创文章,欢迎转载,转载请注明出处,并联系本人取得授权。
版权邮箱地址:banquan@mrdwy.com

简介

我反复试了网上各种方法,都可能已经过时,或者无法使用,我这个办法主要的思路是登陆PC端的微信,然后使用抓包工具,通过获取公众号历史文章记录的接口解析出文章链接,截止本文发布该方法还有效,但不排除微信会修改规则。

先上代码

# # coding:utf-8
import http.cookiejar
import json
import time
from urllib import request

import requests

es_url = 'http://127.0.0.1:9200'
index = '/wechat/history'
cookie = http.cookiejar.CookieJar()  # 声明一个CookieJar对象实例来保存cookie
handler = request.HTTPCookieProcessor(cookie)  # 利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
opener = request.build_opener(handler)  # 通过handler来构建opener
headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
    'Host': 'mp.weixin.qq.com',
    'Connection': 'keep-alive',
    # 'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,zh-TW;q=0.7',
    'Cache-Control': 'max-age=0',
    'Upgrade-Insecure-Requests': ' 1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36',
    'Cookie': '',
}


def __save_es(item, prefix):
    if 'app_msg_ext_info' not in item:
        return
    comm = item['comm_msg_info']
    info = item['app_msg_ext_info']
    title = info['title']
    content_url = info['content_url']
    content_url = content_url.replace('\/', '/')
    if len(content_url.strip()) == 0:
        return
    try:
        page = request.urlopen(content_url)
    except Exception as e:
        print("访问微信链接出错了,错误原因" + e)
        return
    content = page.read().decode("utf-8")
    __post_es(prefix + ' ' + title, content, comm['datetime'])


'''
推送文章数据给搜索引擎
'''


def __post_es(name, content, datetime):
    h = {'Accept-Charset': 'utf-8', 'Content-Type': 'application/json'}
    params = {
        "name": name,
        "content": content,
        "datetime": datetime
    }
    resp = requests.post(es_url + index, headers=h, data=json.dumps(params))
    print(resp.content)


def reptile(url, prefix):
    r = request.Request(url=url, headers=headers, method="GET")
    response = opener.open(r)
    offset = url[url.index('offset='):]
    offset = int(offset[7:offset.index('&')])
    htmlcode = response.read().decode()
    j = json.loads(htmlcode)
    if j['ret'] != 0:
        print('返回数据错误,请检查链接')
        exit(0)
    next_offset = j['next_offset']
    if offset == next_offset:
        return
    general_msg_list = j['general_msg_list']
    general_msg_list = json.loads(general_msg_list)
    for item in general_msg_list['list']:
        __save_es(item, prefix)
    #非常重要,为了防止被封,每次抓取数据需要休息15秒
    time.sleep(15)
    reptile(url.replace("offset=" + str(offset), 'offset=' + str(next_offset)), prefix)


# 使用抓包工具获取的链接地址
url = 'https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=123==&f=json&offset=0&count=10&is_ok=1&scene=124&uin=123&pass_ticket=123&wxtoken=&appmsg_token=123&x5=0&f=json'
# 为了方便搜索引擎搜索到公众号文章,可以给标题加个前缀,比如使用公众号名称
prefix = 'shufang'

reptile(url, prefix)

我反复试了网上各种方法,都可能已经过时,或者无法使用,我这个办法主要的思路是登陆PC端的微信,然后使用抓包工具,通过获取公众号历史文章记录的接口解析出文章链接。

抓包工具使用Fidder,未避免偏题,这里直接链接一篇Fidder的教程,以供参考,基本上我们只需要使用到很少的功能,获取到链接地址就行了。
Fidder教程

本文抓取的数据直接写入ElasticSearch搜索引擎中,要修改数据存储方式也比较简单,ElasticSearch怎么用这边就不再罗嗦,感兴趣的同学可以自己去了解。

主要说明一下如何获取历史文章记录的链接地址:
1、首先登陆PC版的微信
2、打开订阅号,或者服务号,点击右上角的“...”


image.png

3、点击查看历史记录


微信图片_20190923164359.png

4、打开历史记录后,滚动条往下滑动,直到加载出更多的历史文章

5、然后在Fiddler中找到如下地址的访问记录:

https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=123==&f=json&offset=0&count=10&is_ok=1&scene=124&uin=123&pass_ticket=123&wxtoken=&appmsg_token=123&x5=0&f=json

注意其中有个参数action=getmsg,这个是接口获取json格式返回数据,还有一条action=home的那个是获取公众号主页页面,这边我们直接用action=getmsg的接口就行了,返回数据是json格式的,并且支持分页返回,参数中的offset=12,就是分页参数,这边我们拿到地址后将地址复制到代码中的url参数,也就是代码第82行,覆盖掉原来的url='xxxxxxxxxxxxxxxxx'就可以开始爬取公众号数据了。

代码中每次抓取分页数据的时候让程序休息了15秒,主要是为了防止被微信封号,封号后可能会导致当前设备24小时内都无法获取任何公众号历史记录,切记切记!!!

有兴趣获取完整代码的同学也可以访问我的github下载:爬取公众号文章和利用ElasticSearch搜索的功能演示

代码包括爬虫爬取数据写入ElasticSearch,以及通过ElasticSearch进行文章标题和内容的搜索DEMO演示,有任何问题也欢迎私信我,大家一起探讨

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 230,563评论 6 544
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 99,694评论 3 429
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 178,672评论 0 383
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 63,965评论 1 318
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 72,690评论 6 413
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 56,019评论 1 329
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 44,013评论 3 449
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 43,188评论 0 290
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 49,718评论 1 336
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 41,438评论 3 360
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 43,667评论 1 374
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 39,149评论 5 365
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 44,845评论 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 35,252评论 0 28
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 36,590评论 1 295
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 52,384评论 3 400
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 48,635评论 2 380

推荐阅读更多精彩内容

  • 执起双手之笔,空间与时间里瞬间穿梭。 把遗留之笔抛洒空中,消失的无影无踪。 乘风破浪,走走停停! 不去计较的理由何...
    源通思想阅读 571评论 1 1
  • 好久没去水车博览园了。 今天去兰州音乐厅听钱文忠教授在金城讲堂的报告,刚好顺路,在淅沥的小雨中,看到黄河边的大水车...
    辛苦快乐阅读 1,296评论 0 4
  • 我们终其一生,都在寻找着内心所向往的完美之境。令人遗憾的是,时间的长河总是会造成世间各式各样的不完美。
    唐潔工坊阅读 444评论 0 0