python爬取拉勾网招聘数据

又一年的毕业季来临了,一大波大学生加入了找工作的大军,给这些新加入职场的学生们提供宝贵的招聘的信息,通过python爬取拉勾网的招聘的数据。

拉勾网的链接是https://www.lagou.com/,先爬取各岗位的链接地址,例如java岗位

找到html代码的标签的位置

获取不同岗位的具体代码:

接下来获取JAVA等岗位的具体信息,具体获取岗位名称,公司名称,薪水,地区,公司类型这几个主要的信息。

找到具体想要获取信息的html标签的位置

获取java等不同岗位的具体信息的代码:

完整代码贴在下面,采用了BeautifulSoup这个包:


最终爬取的数据存储到excel中了,效果是:

后续将对数据进行分析,统计不同地区的薪水等……

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容