node.js爬虫爬取拉勾网职位信息

简介

用node.js写了一个简单的小爬虫,用来爬取拉勾网上的招聘信息,共爬取了北京、上海、广州、深圳、杭州、西安、成都7个城市的数据,分别以前端、PHP、java、c++、python、Android、ios作为关键词进行爬取,爬到的数据以json格式储存到本地,为了方便观察,我将数据整理了一下供大家参考

数据结果

数据汇总

一线城市各职位对比

北京各职位数量对比
上海各职位数量对比
广州各职位数量对比
深圳各职位数量对比
杭州各职位数量对比

爬取过程展示

控制并发进行爬取

爬取到的数据文件

json数据文件

爬虫程序

由于这个爬虫程序比较简单,所以并没有贴代码,只是将大体思路分享一下,想看代码的朋友可以去我的github上查看

实现思路

请求拉钩网的https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=关键词&pn=页数地址,拉钩会返回一个包含所要请求职位信息的数据,返回的数据为json格式,所以省去了使用cheerio去解析网页,直接用superagent来请求上述地址,其中参数city是为城市,kd为所要搜索的关键词,pn为要请求的页数,成功返回数据后,将数据储存在本地即可。其中使用了async来控制并发数量,使得并发数不超过3,防止被封ip

代码地址及使用

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容