课堂作业
- 要爬取的数据类别
- 对应的数据源网站
- 爬取数据的URL
- 数据筛选规则(选做)
学习python，想研究一些兼职的python脚本工作，分析一下主要的需求方面，重点学习和练习。
要爬取的数据类型
爬取网站每天发布的python相关工作需求，抓取的数据包括：
- 所有的python job list
- 每个 Job 的数据：
- job title
- job skills
- job details
- pricing
对应的数据源网站
爬取数据的URL
https://www.upwork.com/o/jobs/browse/?q=python
数据筛选规则
根据id= "jobs-list"获取job list,
根据class="job-title"获取单个job,
根据class="break visited"获取单个job url
- 根据class="row"获取单个job 的数据
- 如需details，继续爬取该job url
