自己一直对爬虫挺感兴趣,但对其理解不过是可以更高效率的搜集信息。听完第一课,知道爬虫可以从获取信息,再到整理成一份完整的结果结果,如表格。感觉真的是异常强大。 上半年的数据分析课程,我自己的作业提交率,估计只有30%,自己下半年希望能每堂课都提交作业了。毕竟完成比完美重要
我想用爬虫爬去什么数据类别?
成都数据行业的招聘信息。
- 因为自己明年可能回成都生活,想把自己未来的职业方向转向大数据行业,故而想看看成都这方面就业的可能性。
对应的数据源网站
- 猎聘网
- boss 直聘
爬取数据的url
- 猎聘网 https://c.liepin.com/?time=1498901196181 (需要登录)
- Linkedin https://www.linkedin.com/jobs/search/?f_GC=cn.4-2&keywords=%E5%A4%A7%E6%95%B0%E6%8D%AE&location=%E4%B8%AD%E5%9B%BD%20%E5%9B%9B%E5%B7%9D%20%E6%88%90%E9%83%BD&locationId=cn%3A8963 (需要登录才行)
- boss 直聘 https://www.zhipin.com/?sid=
数据筛选规则
这个问题我不太理解,根据自己的想法,应该是需要搜集哪些数据
爬去的数据中应包含以下信息:
- 公司名称
- 职位
- 联系方式
- 职位描述
- 薪资
- 地点