近日滴滴CEO程维公开宣布过冬，裁员15%，涉及员工2000人，在互联网行业引起了广泛讨论。不过马上到了3月份，金三银四的黄金求职季，互联网行业情况或许会乐观一些。
转入正题啦。对于初学爬虫的伙伴来说，爬取拉勾网（为互联网从业者提供工作机会的招聘网站）是一个很适合的练手项目。本篇文章通过爬取拉勾网10万余条职位数据并进行分析，希望对大家有所启发。下面让我们愉快地开始吧！
一、网页分析
拉勾网表面显示每页15条信息，共30页，但实际爬取时我们会发现远不止此（与豆瓣网不同），仅北京的python职位就有350页共5000条左右的信息，因此在分析目标网页时注意不要被表面迷惑。
（点击图片查看大图）
1.获取对象
公司名称 工资范围工作经验公司类型融资阶段公司规模学历要求职位类型公司福利
2.网页分析
当小笨聪从第一页点击第二页时，发现信息直接出来而没有加载网页，这里很明显啦，拉勾网关于职位的信息是异步加载的。此时，打开开发者工具（F12），点击Network进入网页分析，F5刷新一下出来信息。
正常情况下，我们可以忽略CSS、图片等类型的请求，关注点放在XHR这种类型请求上，出现5个XHR类型，逐个打开对比，分别点击Preview就能看到它们响应的内容，发现第一个包含了我们需要的信息。
（点击图片查看大图）
点击其中一个，可以看到包含了该职位的所有信息。
（点击图片查看大图）
点击Headers，可以看到city是城市，pn是页数，kd是关键词，这样就可以写代码了。
（点击图片查看大图）
提示一下，拉勾网有两种获取数据的方式：
方式一：首页输入Python，这时可以看到获取数据的方式是发起Post请求，得到json数据。这种方法会提示操作太频繁，即使设置了cookies模拟登陆，爬取的数据多了也会有被封IP的风险。
（点击图片查看大图）
方式二：首页选择“技术”，找到Python模块，打开网页，可以看到发起的是Get请求，利用Xpath解析字段获取数据。这两种方法获取的数据是一样的。
微信公众号“学编程的金融客”后台回复“拉勾网1”即可获得源码和图片。
滴滴裁员2000后，我爬取了拉勾网10万条数据告诉你互联网职位现状mp.weixin.qq.com
你的关注和点赞就是对我继续分享的最大的支持！
