工具:fiddler
抓取对象:实习僧APP
代码实现:Python & requests
1.打开 fiddler 并将手机连接到 fiddler 监听的端口
(1)在命令窗口输入ipconfig, 查看本机IP地址。不建议通过百度查询IP,因为有时会有偏差,而fiddler是以前者为准。
(2)打开手机,连接无线网(随便一个),然后在代理设置里面,将上一步查询到的IP地址填在主机名或IP那里,端口填写8888(fiddler默认)。设置好以后,如果打开APP后fiddler出现如下情况,则监听成功。
2.得到需要的URL
(1)首先点击×号清空已经截获的数据,在APP上打开想要爬取的页面(这里以职位查询页面为例),便可以轻松获取信息,点击最新的一个会话,查看详细信息。
(2)点击右侧的 Inspectors ,然后点击下方的 JSON 选项(上面一栏是 Request, 下面一栏是 Response)。如果能够查看到正常的数据,则代表这个会话是我们需要的,然后点击 Request栏中的 Raw 查看请求地址
3. 分析请求
通过多次尝试不同的筛选值,得到如下关键字与数据的对应关系:
有了对应关系就可以更好地获取自己想要的数据。
4.代码实现
通过下方返回的数据,大家可以看到抓取正常,也代表我们对于关键字含义的猜测是正确的。