学好Python薪水有多少|我爬取了所有的Python职位
原创 xinxin 菜鸟学Python
阅读本文大概需要3分钟
Python现在这么火，相信每个学Python的同学都非常关心学好Python到底能赚多少钱，薪水高不高呢，Python有哪些大的公司，都是哪些岗位在招人.于是第一步我爬取了拉勾所有的Python相关的岗位，我们用数据说话，小伙伴一起看一下吧.
1
爬虫思路分析
招聘网站非常多，有51job,拉勾网，Linkedin等等，因为Python偏互联网，所以我选择爬取拉勾网的数据.
但是发现拉勾网需要验证吗，试着登入进去之后，发现网页的数据都是Ajax方式的数据，不是非常好爬取。
于是我们退而求其次，选择手机网站爬取，相对容易一些.
2
动手爬取数据
爬虫的库和方法非常多，这里我选择用selenium的方式，模拟登入绕过反爬虫的机制来获取数据.
首先要保证你的电脑上安装了selenium环境和chrome浏览器，当然firefox也可以，只是我个人习惯用selenium，哈哈。
1.进入搜索页面，输入Python
2.获取Python相关岗位
3.网页分析
我们可以用BS解析数据，也可以用PyQuery解析数据，这次我换一个口味，以前我一直习惯用bs解析，这次爬取我用了PyQuery发现还不错，用的蛮爽的.
3
开始写代码
整个的代码量非常小，大概只有70行左右，非常适合小白练手.
1.启动Selenium登入拉勾
2.爬取页面
每一个页面主要关心的招聘网页，薪资待遇，公司名称和发布时间
当然还要翻页:
load page:1
加载中...
load page:2
加载中...
load page:3
加载中...
。。。
load page:47
加载更多
load page:48
加载中...
load page:49
加载中...
load page:50
加载中...
load page:51
加载更多
load page:52
加载中...
load page:53
加载中...
3.数据存储
这里我们选择最简单的存为json格式的数据，方便后面的数据分析.
一共100多页数据，总共1552个岗位，设计全国10几个的城市的所以Python数据，下面是部分数据的展示：
