生而为人,我很抱歉!深夜爬虫, 我很抱歉 ,附微信 “ 网抑云” 公众号爬虫教程!

最近真的是被 网抑云 这个梗刷爆了,到处都是, 生而为人,我很抱歉,哈哈哈, 碰巧最近学习了一波微信公众号的爬取方式,想试一试, 特地在此献丑了。我是小何, 不定期更新自动化测试教学, 其余时间学软件测试和linux中。 八月,继续加油。

网抑云时间到图片大全
在这里插入图片描述
网抑云图片高清

关注我哟!!!

资料参考: 本篇博客,基于她的思想之中, 改编于我自己,我自己动手敲了一下, 发现还是存在很大的不同, 也是存在一点问题的, 所以这篇博客,我用我自己的话讲一下这次爬虫的思路,用简单的话说明白。

工具:

import requests
import json
from urllib.parse import urlencode
import pdfkit
# wkhtmltopdf  github : https://github.com/JazzCore/python-pdfkit/wiki/Installing-wkhtmltopdf
import os
import warnings  # 关闭警告

关于pdfkit 这是一个三方库, 它可以将html转换为pdf 或者 image 图像, 他需要一个软件的支持, 就是wkhtmltopdf wkhtmltopdf 官网 说一下, 官网我下了半小时都没动一下, 不知道是不是我个人原因, 推荐还是去第三方网站随便下一个,绝对比这个快!

在这里插入图片描述

下载之后, 在 bin 目录下 可以看到 wkhtmltopdf.exe 这个工具,先记下路径,后面需要用到。

打开fiddle,开始抓包

  • 关于fiddle的基础配置, 在下载的时候,都会提到, 这里就不提了。
    打开fiddle 随意打开一个微信公众号。往下拖动微信下拉条,让他加载更多文章,就像这样。
在这里插入图片描述

微信公众号的包很好分别的,主要他是一个json包, 而且通过网址我们也可以很好的认出来, 这张截图上注意的点我都标出来了。

其实这也可以理解成一个ajax请求吧, 我们只要构造一个字典参数加入,就可以构造成一个请求网址,这样就可以实现多页爬取了。原理我觉得差不多, 主要还是 构造参数 params 的甄别了,这个很重要, 有些参数没构造成功就不能正确的访问进去。
关于ajax的我也写了一篇博客, 可以进去看看 = =

那下面我们就开始编写爬虫吧!


构造基本参数:

一般我们所讲的基本参数 也就是浏览器的请求头, 还有一些请求参数, cookies之类的, 这里额外加一个 请求参数params , 看代码:
图方便, 这里也可以先构造一个文件 to_pdf
to_pdf.py

# -*- coding :  utf-8 -*-
# @Time      :  2020/8/6  18:31
# @author    :  公众号【测试员小何】
# @Software  :  PyCharm
# @CSDN      :  https://me.csdn.net/qq_45906219
## to_pdf.py
# 目标公众号【测试员小何】
biz = 'MzA4NDQwMTczOA=='
# 微信登录后的一些标识参数
pass_ticket = 'DdDXKrOnQztW4p81Nm3nRQQ/EAFMCDz5MZO5KeBYdedjaZPH4nLFHL2LWE1uxHVJ'
appmsg_token = '1073_tnlzQTEqvlr9EgXQdC6zALGHfcJw4By9Bx69bQ~~'
uin = 'Mzc2MDg4MzgxNA=='
key = '360754e56e033319af5321321189d5b230b2bfe570313f76e4ed2ef0cd8a1fcfd087786d9da1d826ed30da55f477215359ba761e2a2af5f92213b05c17d89153631a537e35fc91f6d7fb3009e7113958'
# 安装的wkhtmltopdf.exe文件路径  这个是保存为pdf的 其实他还有保存为文件
wkhtmltopdf_path = r'D:\wkhtmltox\wkhtmltopdf\bin\wkhtmltopdf.exe'

上面提到一些 biz , passticket 之类参数的,我们可以在这里看到。

在这里插入图片描述

#公众号【测试员小何】
    def __init__(self):
        """spider the wxChat station"""
        self.session = requests.session()
        self.offset = 0  # 偏移量 
        self.json_name = 'wxChat.json'  # 保存json文件名
        self.down_path = 'D:/wxChatPDF/'  # 下载地址
        self.__initGetBaseData()
       def __initGetBaseData(self):
        """
        input some BaseParams about the requests session
       ""
        self.headers = {
            'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.5;q=0.4'
            "User-Agent": 这个太长了,在fiddle上面直接复制就可以
            'X-Requested-With': 'XMLHttpRequest'
        }
        self.cookies = {
            'wxtokenkey': '777',
            "wxuin": "3760883814",
            "devicetype": "android - 29",
            "version": "27000",
            "lang": "zh_CN",
            "pass_ticket": to_pdf.pass_ticket,
            "wap_sid2": "COaQqoEOElxramROblROTTRtTktEa29yU3drdExUODg4RjZCaVVsX3lycHV0VUJ"       "3aWtmMl9xNDlJVFN0YTZJY0NxdzZsTXdfaHJxMmZyTTRUZGlGdTZHNVEtNzh5REVFQUFBfjDDsK / 5BTgNQJVO"
        }
        self.profile_url = "https://mp.weixin.qq.com/mp/profile_ext?"
        self.session.headers.update(self.headers)  # 更新headers
        self.session.cookies.update(self.cookies)  # 更新cookies
        self.params = {
            'action': 'getmsg',
            '__biz': to_pdf.biz,
            'f': 'json',
            'offset': '10',  # 若需要多页爬取, 构造 : str(self.offset)
            'count': '10',
            'is_ok': '1',
            'scene': '124',
            'uin': to_pdf.uin,
            'key': to_pdf.key,  # 这个好像二十分钟就会失效, 需要隔段时间更换
            'pass_ticket': to_pdf.pass_ticket,
            'wxtoken': '',
            'appmsg_token': to_pdf.appmsg_token,
            'x5': '0',
        }

这里讲一下 self.profile_url 这个参数, 我们在fiddle上面获得的网址是很长的一段, 其实只要卡到 ? 这里就可以了, 可以试试的。

请求网址, 通过json包,分割出标题和网址:

上面我们构造了一些参数,然后就可以正常的请求网址了,如下:

#公众号【测试员小何】 
def run(self):
        """提取出标题和网址,
        保存到json包 然后下载转换为Pdf"""
        items = {}
        for jsons in self.get_json():
            json_list = jsons.get('general_msg_list')
            json_list = json.loads(json_list)  # 转换为json 类型
            json_list1 = json_list.get('list')
            for json_one in json_list1:
                # 遍历这个列表字典  先解析最外层标题和网址
                json_list_info = json_one.get('app_msg_ext_info')
                title = json_list_info.get('title')
                content_url = json_list_info.get('content_url')
                items[title] = content_url  # 装入字典
                json_list_info1 = json_list_info.get('multi_app_msg_item_list')
                for json_two in json_list_info1:  # 解析第二层标题和网址
                    title2 = json_two.get('title')
                    content_url2 = json_two.get('content_url')
                    items[title2] = content_url2
        # 转换字典类型
        items_json = json.dump(items, ensure_ascii=False, indent=4,
                               fp=self.json_name)  # ensure_ascii=False(输出中文), indent=4(缩进为4)
        # 先写入文件,避免占用太多内存消耗
        with open(self.json_name, 'a+', encoding='utf-8') as fw:
            fw.write(items_json)
            print('dump the wxChat.json is successful!')
        # 下载ok之后, 就开始下载
        self.down()
    def get_json(self):
        """得到所有文章的链接
        构造一个office偏移量 不断的请求构造网址 分析Json包
        """
        print('【ps】 spider the wxChart is starting!')
        for i in range(1, 2):
            print(f'The SpiderDemo is spider doing {i} pages')
            # self.offset += 10 * i  # 开启这个 表示 多页爬取
            # 对比了很多次 构造网址 和 原网址 还是有很多的区别 在这里改一改才能正确的成功
            self.profile_url += (urlencode(self.params) + '&f=json HTTP/1.1')
            self.profile_url = self.profile_url.replace('%3D%3D&f=json', '==&f=json', 1)
            r = self.session.get(self.profile_url, verify=False)
            yield r.json()

这里发现了一个很大的问题, 不管是在 get() 里面构造字典, 还是先构造字典,都发现我不能正确的获取到数据, 最后打印了一下构造网址, 发现存在很大问题。

我构造的
https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzA4NDQwMTczOA%3D%3D&f=json&offset=10&count=10&is_ok=1&scene=124&uin=Mzc2MDg4MzgxNA%3D%3D&key=9a979acccbefb6032e6ea1a3ed3fbe82a67e7244eb884c9b4fd497550577b4c57f82cb7c0998ef8dc91cf1dca069ca16fe8cce902f238a72294726745094a68c5efb99f91df5e2592c7540ec90d5b09b&pass_ticket=DdDXKrOnQztW4p81Nm3nRQQ%2FEAFMCDz5MZO5KeBYdedjaZPH4nLFHL2LWE1uxHVJ&wxtoken=&appmsg_token=1073_tnlzQTEqvlr9EgXQdC6zALGHfcJw4By9Bx69bQ~~&x5=0&f=json

从fiddle上面复制的
https://mp.weixin.qq.com/mp/profile_ext?action=getmsg&__biz=MzA4NDQwMTczOA==&f=json&offset=10&count=10&is_ok=1&scene=124&uin=Mzc2MDg4MzgxNA%3D%3D&key=9a979acccbefb6032e6ea1a3ed3fbe82a67e7244eb884c9b4fd497550577b4c57f82cb7c0998ef8dc91cf1dca069ca16fe8cce902f238a72294726745094a68c5efb99f91df5e2592c7540ec90d5b09b&pass_ticket=D2Ir2BvSw4lli9ZReGdqnsFacl0N6Lnpmj9h4EE4CBdqV7cd7co7eRRnOBO4EsG%2F&wxtoken=&appmsg_token=1073_o%252FrQqQ5kpRJZNWMKabr8tLelugCSKx8mIN5IGQ~~&x5=0&f=json HTTP/1.1

对比了一下,发现我自己的url 第一个 == 变成了 %3D%3D , 后缀也少了很多。然后进行了修改, 最后成功进入了。
如下:

#公众号【测试员小何】
self.profile_url += (urlencode(self.params) + '&f=json HTTP/1.1')
self.profile_url = self.profile_url.replace('%3D%3D&f=json', '==&f=json', 1)

上面的代码包括很多json的拆分, 这个我推荐一个网址, 很好用。

在这里插入图片描述

可以在线解析 json 包, 在线解析json

读入本地文件,下载html,转换pdf

上面我们代码中讲到, 为了减少内存的占用, 我把文件先保存到本地了,那么现在就可以直接读取本地文件,代码如下:

#公众号【测试员小何】 
def pathisok(self, path):
        """判断目录是否存在, 不存在就创建 进入文件"""
        if not os.path.exists(self.down_path):
            os.mkdir(self.down_path)
    def down(self):
        """
        打开json包,根据标题,网址开始下载,
        爬取之后保存的格式可以很多种,这里我使用一下之前学到的一个新工具 to_pdf
        将网页转换为html页面
        """
        self.pathisok(self.down_path)
        with open(self.json_name, 'r', encoding='utf-8') as fr:
            for index in fr:
                if ':' in index:  # 判断是否是不是标题和网址
                    title = index.strip().split(':')[0]
                    url = ''.join(index.strip().split(':')[1:]).strip(',')
                    # 对网址进一步处理
                    url = url.replace('http', 'https:')
                    # 如果不修改文件名称 一定会报错 OsError的错误 找了很久
                    title = title.replace('\\', '').replace('/', '').replace(':', '').replace(':', '')  \
                        .replace('*', '').replace('?', '').replace('?', '').replace('“', '') \
                        .replace('"', '').replace('<', '').replace('>', '').replace('|', '_')
                    print('- ' * 40)
                    print(f'The title is {title} starting spider')
                    print('- ' * 40)
                    # print(os.path.join(self.down_path, title + '.pdf'))
                    pdfkit.from_url(url, os.path.join(self.down_path, title + '.pdf'),        configuration=pdfkit.configuration(wkhtmltopdf=to_pdf.wkhtmltopdf_path)
                    # pdfkit.from_url(value, os.path.join(self.savedir, key + '.pdf'),
                    #                 configuration=pdfkit.configuration(wkhtmltopdf=self.cfg.wkhtmltopdf_path))
                    print('- ' * 40)
                    print(f'The title is {title} spider is successful')
                    print('- ' * 40)
                else:
                    pass

这里要注意一点的, 关于文件的名称,有的时候爬虫我们给文件起名称不会在意很多细节, 如果文件名中有特殊符号, 或者其他不允许的符号,那么创建文件或者目录就会报错, 大致就是IOError 之类的错误了。 所以我们需要对 Title 进行再一次的修改, 确保不会出现问题。

打开pdf, 深夜了,打开 ‘网抑云’ 。

在这里插入图片描述

好了, 这就是本次爬虫的全部过程了。

全部代码:

如果对软件测试有兴趣,想了解更多的测试知识,解决测试问题,以及入门指导,
帮你解决测试中遇到的困惑,我们这里有技术高手。如果你正在找工作或者刚刚学校出来,
又或者已经工作但是经常觉得难点很多,觉得自己测试方面学的不够精想要继续学习的,
想转行怕学不会的,都可以加入我们644956177或者关注公众号【测试员小何】领取资料哦~。
群内可领取最新软件测试大厂面试资料和Python自动化、接口、框架搭建学习资料!

# -*- coding :  utf-8 -*-
# @Time      :  2020/8/6  17:00
# @author    : 公众号【测试员小何】
# @Software  :  PyCharm
# @CSDN      :  https://me.csdn.net/qq_45906219
import requests
import json
from urllib.parse import urlencode
import pdfkit
# wkhtmltopdf  github : https://github.com/JazzCore/python-pdfkit/wiki/Installing-wkhtmltopdf
import os
import warnings
warnings.filterwarnings('ignore')
class wxChatSpider(object):
    def __init__(self):
        """spider the wxChat station"""
        self.session = requests.session()
        self.offset = 0
        self.json_name = 'wxChat.json'
        self.down_path = 'D:/wxChatPDF/'  # 下载地址
        self.__initGetBaseData()
    def run(self):
        """提取出标题和网址,
        保存到json包 然后下载转换为Pdf"""
        items = {}
        for jsons in self.get_json():
            json_list = jsons.get('general_msg_list')
            json_list = json.loads(json_list)  # 转换为json 类型
            json_list1 = json_list.get('list')
            for json_one in json_list1:
                # 遍历这个列表字典  先解析最外层标题和网址
                json_list_info = json_one.get('app_msg_ext_info')
                title = json_list_info.get('title')
                content_url = json_list_info.get('content_url')
                items[title] = content_url  # 装入字典
                json_list_info1 = json_list_info.get('multi_app_msg_item_list')
                for json_two in json_list_info1:  # 解析第二层标题和网址
                    title2 = json_two.get('title')
                    content_url2 = json_two.get('content_url')
                    items[title2] = content_url2
        # 转换字典类型
        items_json = json.dump(items, ensure_ascii=False, indent=4,
             fp=self.json_name)  # ensure_ascii=False(输出中文), indent=4(缩进为4)
        # 先写入文件,避免占用太多内存消耗
        with open(self.json_name, 'a+', encoding='utf-8') as fw:
            fw.write(items_json)
            print('dump the wxChat.json is successful!')
        # 下载ok之后, 就开始下载
        self.down()
    def get_json(self):
        """得到所有文章的链接
        构造一个office偏移量 不断的请求构造网址 分析Json包
        """
        print('【ps】 spider the wxChart is starting!')
        for i in range(1, 2):
            print(f'The SpiderDemo is spider doing {i} pages')
            # self.offset += 10 * i  # 开启这个 表示 多页爬取
            # 对比了很多次 构造网址 和 原网址 还是有很多的区别 在这里改一改才能正确的成功
            self.profile_url += (urlencode(self.params) + '&f=json HTTP/1.1')
            self.profile_url = self.profile_url.replace('%3D%3D&f=json', '==&f=json', 1)
            r = self.session.get(self.profile_url, verify=False)
            yield r.json()
    def pathisok(self, path):
        """判断目录是否存在, 不存在就创建 进入文件"""
        if not os.path.exists(self.down_path):
            os.mkdir(self.down_path)
    def down(self):
        """
        打开json包,根据标题,网址开始下载,
        爬取之后保存的格式可以很多种,这里我使用一下之前学到的一个新工具 to_pdf
        将网页转换为html页面
        """
        self.pathisok(self.down_path)
        with open(self.json_name, 'r', encoding='utf-8') as fr:
            for index in fr:
                if ':' in index:  # 判断是否是不是标题和网址
               title = index.strip().split(':')[0]
                    url = ''.join(index.strip().split(':')[1:]).strip(',')
                    # 对网址进一步处理
                    url = url.replace('http', 'https:')
                    # 如果不修改文件名称 一定会报错 OsError的错误 找了很久
                    title = title.replace('\\', '').replace('/', '').replace(':', '').replace(':', '') \
                        .replace('*', '').replace('?', '').replace('?', '').replace('“', '') \
                        .replace('"', '').replace('<', '').replace('>', '').replace('|', '_')
                    print('- ' * 40)
                    print(f'The title is {title} starting spider')
                    print('- ' * 40)
                    # print(os.path.join(self.down_path, title + '.pdf'))
                    pdfkit.from_url(url, os.path.join(self.down_path, title + '.pdf'),           configuration=pdfkit.configuration(wkhtmltopdf=to_pdf.wkhtmltopdf_path))
                    # pdfkit.from_url(value, os.path.join(self.savedir, key + '.pdf'),
                    #                 configuration=pdfkit.configuration(wkhtmltopdf=self.cfg.wkhtmltopdf_path))
                    print('- ' * 40)
                    print(f'The title is {title} spider is successful')
                    print('- ' * 40)
                else:
                    pass
    def __initGetBaseData(self):
        """
        input some BaseParams about the requests session
        """
        self.headers = {
            'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.5;q=0.4',
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36"
                          " (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36 QBCore/4.0.1301.400 "
        "QQBrowser/9.0.2524.400 Mozilla/5.0 (Windows NT 6.1; WOW64)"
                          " AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2875.116"
                          " Safari/537.36 NetType/WIFI MicroMessenger/7.0.5 WindowsWechat",
            'X-Requested-With': 'XMLHttpRequest'
        }
        self.cookies = {
            'wxtokenkey': '777',
            "wxuin": "3760883814",
            "devicetype": "android - 29",
            "version": "27000",
            "lang": "zh_CN",
            "pass_ticket": to_pdf.pass_ticket,
            "wap_sid2": "COaQqoEOElxramROblROTTRtTktEa29yU3drdExUODg4RjZCaVVsX3lycHV0VUJ"
                        "3aWtmMl9xNDlJVFN0YTZJY0NxdzZsTXdfaHJxMmZyTTRUZGlGdTZHNVEtNzh5REVFQUFBfjDDsK / 5BTgNQJVO"
        }
        self.profile_url = "https://mp.weixin.qq.com/mp/profile_ext?"
        self.session.headers.update(self.headers)  # 更新headers
        self.session.cookies.update(self.cookies)  # 更新cookies
        self.saveDir = 'D:/wxChatSpider'
        self.params = {
            'action': 'getmsg',
            '__biz': to_pdf.biz,
            'f': 'json',
            'offset': '10',  # 若需要多页爬取, 构造 : str(self.offset)
            'count': '10',
            'is_ok': '1',
            'scene': '124',
            'uin': to_pdf.uin,
            'key': to_pdf.key,  # 这个好像二十分钟就会失效, 需要隔段时间更换
            'pass_ticket': to_pdf.pass_ticket,
            'wxtoken': '',
            'appmsg_token': to_pdf.appmsg_token,
            'x5': '0',
        }

if __name__ == '__main__':



    import to_pdf
    # 里面是第三方库的配置, 以及一些微信公众号的参数
    spider = wxChatSpider()
    spider.run()
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,417评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,921评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,850评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,945评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,069评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,188评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,239评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,994评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,409评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,735评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,898评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,578评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,205评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,916评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,156评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,722评论 2 363
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,781评论 2 351