image

阅读文本大概需要 10 分钟。

01 抓取目标

场景：有时候我们想爬取某个大 V 的发布的全部的文章进行学习或者分析。

这个爬虫任务我们需要借助「 Charles 」这个抓包工具，设置好手机代理 IP 去请求某个页面，通过分析，模拟请求，获取到实际的数据。

我们要爬取文章的作者、文章标题、封面图、推送时间、文件内容、阅读量、点赞数、评论数、文章实际链接等数据，最后要把数据存储到「 MongoDB 」数据库中。

02 准备工作

首先，在 PC 上下载 Charles，并获取本地的 IP 地址。

image

然后，手机连上同一个网段，并手动设置代理 IP，端口号默认填 8888 。最后配置 PC 和手机上的证书及 SSL Proxying，保证能顺利地抓到 HTTPS 的请求。具体的方法可以参考下面的文章。

「https://www.jianshu.com/p/595e8b556a60?from=timeline&isappinstalled=0 」

image

03 爬取思路

首先我们选中一个微信公众号，依次点击右上角的头像、历史消息，就可以进入到全部消息的主界面。默认展示的是前 10 天历史消息。

然后可以查看 Charles 抓取的请求数据，可以通过「 mp.weixin.qq.com 」去过滤请求，获取到消息首页发送的请求及请求方式及响应内容。

image

继续往下滚动页面，可以加载到下一页的数据，同样可以获取到请求和响应的数据。

image

爬取的数据最后要保存在 MongoDB 文档型数据库中，所以不需要建立数据模型，只需要安装软件和开启服务就可以了。MongoDB 的使用教程可以参考下面的链接：

「 https://www.jianshu.com/p/4c5deb1b7e7c 」

image

为了操作 MongoDB 数据库，这里使用「 MongoEngine 」这个类似于关系型数据库中的 ORM 框架来方便我们处理数据。

pip3 install mongoengine

04 代码实现

从上面的分析中可以知道首页消息、更多页面消息的请求 URL 规律如下：

# 由于微信屏蔽的关键字， 字段 netloc + path 用 ** 代替# 首页请求urlhttps://**?action=home&__biz=MzIxNzYxMTU0OQ==&scene=126&bizpsid=0&sessionid=1545633855&subscene=0&devicetype=iOS12.1.2&version=17000027&lang=zh_CN&nettype=WIFI&a8scene=0&fontScale=100&pass_ticket=U30O32QRMK6dba2iJ3ls6A3PRbrhksX%2B7D8pF3%2Bu3uXSKvSAa1hnHzfsSClawjKg&wx_header=1# 第二页请求urlhttps://**?action=getmsg&__biz=MzIxNzYxMTU0OQ==&f=json&offset=10&count=10&is_ok=1&scene=126&uin=777&key=777&pass_ticket=U30O32QRMK6dba2iJ3ls6A3PRbrhksX%2B7D8pF3%2Bu3uXSKvSAa1hnHzfsSClawjKg&wxtoken=&appmsg_token=988_rETfljlGIZqE%252F6MobN1rEtqBx5Ai9wBDbbH_sw~~&x5=0&f=json# 第三页请求urlhttps://**?action=getmsg&__biz=MzIxNzYxMTU0OQ==&f=json&offset=21&count=10&is_ok=1&scene=126&uin=777&key=777&pass_ticket=U30O32QRMK6dba2iJ3ls6A3PRbrhksX%2B7D8pF3%2Bu3uXSKvSAa1hnHzfsSClawjKg&wxtoken=&appmsg_token=988_rETfljlGIZqE%252F6MobN1rEtqBx5Ai9wBDbbH_sw~~&x5=0&f=json

可以通过把 offset 设置为可变数据，请求所有页面的数据 URL可以写成下面的方式：

https://**?action=getmsg&__biz=MzIxNzYxMTU0OQ==&f=json&offset={}&count=10&is_ok=1&scene=126&uin=777&key=777&pass_ticket=U30O32QRMK6dba2iJ3ls6A3PRbrhksX%2B7D8pF3%2Bu3uXSKvSAa1hnHzfsSClawjKg&wxtoken=&appmsg_token=988_rETfljlGIZqE%252F6MobN1rEtqBx5Ai9wBDbbH_sw~~&x5=0&f=json

另外，通过 Charles 获取到请求头。由于微信的反爬机制，这里的 Cookie 和 Referer 有一定的时效性，需要定时更换。

self.headers = {            'Host': 'mp.weixin.qq.com',            'Connection': 'keep-alive',            'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 12_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/16B92 MicroMessenger/6.7.4(0x1607042c) NetType/WIFI Language/zh_CN',            'Accept-Language': 'zh-cn',            'X-Requested-With': 'XMLHttpRequest',            'Cookie': 'devicetype=iOS12.1; lang=zh_CN; pass_ticket=fXbGiNdtFY050x9wsyhMnmaSyaGbSIXNzubjPBqiD+c8P/2GyKpUSimrtIKQJsQt; version=16070430; wap_sid2=CMOw8aYBElx2TWQtOGJfNkp3dmZHb3dyRnpRajZsVlVGX0pQem4ycWZSNzNFRmY3Vk9zaXZUM0Y5b0ZpbThVeWgzWER6Z0RBbmxqVGFiQ01ndFJyN01LNU9PREs3OXNEQUFBfjC409ngBTgNQJVO; wxuin=349984835; wxtokenkey=777; rewardsn=; pac_uid=0_f82bd5abff9aa; pgv_pvid=2237276040; tvfe_boss_uuid=05faefd1e90836f4',            'Accept': '*/*',            'Referer': 'https://**?action=home&__biz=MzIxNzYxMTU0OQ==&scene=126&sessionid=1544890100&subscene=0&devicetype=iOS12.1&version=16070430&lang=zh_CN&nettype=WIFI&a8scene=0&fontScale=100&pass_ticket=pg%2B0C5hdqENXGO6Fq1rED9Ypx20C2vuodaL8DCwZwVe22sv9OtWgeL5YLjUujPOR&wx_header=1'        }

最后通过 requests 去模拟发送请求。

response = requests.get(current_request_url, headers=self.headers, verify=False)result = response.json()

通过 Charles 返回的数据格式可以得知消息列表的数据存储在 general_msg_list 这个 Key 下面。因此可以需要拿到数据后进行解析操作。

image

has_next_page 字段可以判断是否存在下一页的数据；如果有下一页的数据，可以继续爬取，否则终止爬虫程序。

ps：由于 Wx 反爬做的很完善，所以尽量降低爬取的速度。

response = requests.get(current_request_url, headers=self.headers, verify=False)        result = response.json()        if result.get("ret") == 0:            msg_list = result.get('general_msg_list')            # 保存数据            self._save(msg_list)            self.logger.info("获取到一页数据成功, data=%s" % (msg_list))            # 获取下一页数据            has_next_page = result.get('can_msg_continue')            if has_next_page == 1:                # 继续爬取写一页的数据【通过next_offset】                next_offset = result.get('next_offset')                # 休眠2秒，继续爬下一页                time.sleep(2)                self.spider_more(next_offset)            else:  # 当 has_next 为 0 时，说明已经到了最后一页，这时才算爬完了一个公众号的所有历史文章                print('爬取公号完成！')        else:            self.logger.info('无法获取到更多内容，请更新cookie或其他请求头信息')

由于获取到的列表数据是一个字符串，需要通过 json 库去解析，获取有用的数据。

def _save(self, msg_list):        """        数据解析        :param msg_list:        :return:        """        # 1.去掉多余的斜线,使【链接地址】可用        msg_list = msg_list.replace("\/", "/")        data = json.loads(msg_list)        # 2.获取列表数据        msg_list = data.get("list")        for msg in msg_list:            # 3.发布时间            p_date = msg.get('comm_msg_info').get('datetime')            # 注意：非图文消息没有此字段            msg_info = msg.get("app_msg_ext_info")            if msg_info:  # 图文消息                # 如果是多图文推送，把第二条第三条也保存                multi_msg_info = msg_info.get("multi_app_msg_item_list")                # 如果是多图文，就从multi_msg_info中获取数据插入；反之直接从app_msg_ext_info中插入                if multi_msg_info:                    for multi_msg_item in multi_msg_info:                        self._insert(multi_msg_item, p_date)                else:                    self._insert(msg_info, p_date)            else:                # 非图文消息                # 转换为字符串再打印出来                self.logger.warning(u"此消息不是图文推送，data=%s" % json.dumps(msg.get("comm_msg_info")))

最后一步是将数据保存保存到 MongoDB 数据库中。首先要创建一个 Model 保存我们需要的数据。

from datetime import datetimefrom mongoengine import connectfrom mongoengine import DateTimeFieldfrom mongoengine import Documentfrom mongoengine import IntFieldfrom mongoengine import StringFieldfrom mongoengine import URLField__author__ = 'xag'# 权限连接数据库【数据库设置了权限，这里必须指定用户名和密码】response = connect('admin', host='localhost', port=27017,username='root', password='xag')class Post(Document):    """    文章【模型】    """    title = StringField()  # 标题    content_url = StringField()  # 文章链接    source_url = StringField()  # 原文链接    digest = StringField()  # 文章摘要    cover = URLField(validation=None)  # 封面图    p_date = DateTimeField()  # 推送时间    author = StringField()  # 作者    content = StringField()  # 文章内容    read_num = IntField(default=0)  # 阅读量    like_num = IntField(default=0)  # 点赞数    comment_num = IntField(default=0)  # 评论数    reward_num = IntField(default=0)  # 点赞数    c_date = DateTimeField(default=datetime.now)  # 数据生成时间    u_date = DateTimeField(default=datetime.now)  # 数据最后更新时间

使用命令行开启数据库服务，然后就可以往数据库写入数据了。

image

  def _insert(self, msg_info, p_date):        """        数据插入到 MongoDB 数据库中        :param msg_info:        :param p_date:        :return:        """        keys = ['title', 'author', 'content_url', 'digest', 'cover', 'source_url']        # 获取有用的数据,构建数据模型        data = sub_dict(msg_info, keys)        post = Post(**data)        # 时间格式化        date_pretty = datetime.fromtimestamp(p_date)        post["p_date"] = date_pretty        self.logger.info('save data %s ' % post.title)        # 保存数据        try:            post.save()        except Exception as e:            self.logger.error("保存失败 data=%s" % post.to_json(), exc_info=True)

05 爬取结果

推荐使用工具 Robo3T 连接 MongoDB 数据库，可以查看到公号文章数据已经全部保存到数据库中。

image

本文首发于公众号「 AirPython 」，后台回复「 公号1 」即可获取完整代码。