最全如何利用Python网络爬虫抓取微信朋友圈的动态

今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门。不过不要慌,小编在网上找到了第三方工具,它可以将朋友圈进行导出,之后便可以像我们正常爬虫网页一样进行抓取信息了。

给大家整理了Python很全面的资料和教程可以下载,加群  984632579  即可

在 Windows 下如果安装了 Python3, 那么在 cmd 下直接可以通过 pip 来安装这两个模块, 命令如下:

在 Ubuntu 下安装方法如下:

然后我们运行 Python3, 试一下是否能把这两个模块 import 进来, 就知道是否安装成功了:

如何利用Python网络爬虫抓取微信朋友圈的动态(上)

一、获取朋友圈数据入口

1、关注公众号【出书啦】

2、之后在主页中点击【创作书籍】-->【微信书】。


3、点击【开始制作】-->【添加随机分配的出书啦小编为好友即可】,长按二维码之后便可以进行添加好友了。

4、之后耐心等待微信书制作,待完成之后,会收到小编发送的消息提醒,如下图所示。

至此,我们已经将微信朋友圈的数据入口搞定了,并且获取了外链。

确保朋友圈设置为【全部开放】,默认就是全部开放,如果不知道怎么设置的话,请自行百度吧。

5、点击该外链,之后进入网页,需要使用微信扫码授权登录。

6、扫码授权之后,就可以进入到微信书网页版了,如下图所示。

7、接下来我们就可以正常的写爬虫程序进行抓取信息了。在这里,小编采用的是Scrapy爬虫框架,Python用的是3版本,集成开发环境用的是Pycharm。下图是微信书的首页,图片是小编自己自定义的。

二、创建爬虫项目

1、确保您的电脑上已经安装好了Scrapy。之后选定一个文件夹,在该文件夹下进入命令行,输入执行命令:

scrapy startproject weixin_moment

,等待生成Scrapy爬虫项目。

2、在命令行中输入cd weixin_moment,进入创建的weixin_moment目录。之后输入命令:

scrapy genspider 'moment' 'chushu.la'

,创建朋友圈爬虫,如下图所示。

3、执行以上两步后的文件夹结构如下:

三、分析网页数据

1、进入微信书首页,按下F12,建议使用谷歌浏览器,审查元素,点击“Network”选项卡,然后勾选“Preserve log”,表示保存日志,如下图所示。可以看到主页的请求方式是get,返回的状态码是200,代表请求成功。






最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 最近对自己未来的生活突然有一丝迷茫,明明脚下是平坦的大道,没有丘陵,没有泥沼,可偏偏就像处在一大片迷雾中,分不清东...
    米麦粒5阅读 181评论 0 0
  • 当空间的距离被无限拉长,微信,成了我们生活中最不可分割的一部分,记录了当代人最隐秘的情感与最真实的生活: 每天睡前...
    单向街书店阅读 357评论 0 0
  • 五月至今,在华侨城湿地,已带领了两场WWF(世界自然基金会)生机湿地体系《自然竞技场》课程。回味课间有趣的...
    Corrine_8805阅读 351评论 2 0
  • 你走了 你走了以后落日还是照常,只有些许不同 照旧在夜里看海,只不过能听到更多的声音 过去都是你的 现在海浪、船鸣...
    亘木同学阅读 367评论 2 7