2018/1/21 第一次 爬取拉钩一级页面
1. 分析拉勾网页面
拉勾网页面使用ajax技术，so,页面内容在Chrome-检查-XHR中，请求方式为post。
请求头2-1
请求头2-2
拉钩不同页面是怎样加载的呢？：
经观察后，拉钩翻页，pn变动，其余不变。所以可以看出要爬取不同页面只需要改变pn的值即可。
2.Python爬取
- 拉勾网请求方式为post，所以使用requests包中的post方式。
- 拉钩加入了反爬机制，所以要requests中需加请求头，以尽量伪装成浏览器发送请求。代码如下：
c=[]
# 用for方法遍历所有pn值，即所有网页。
for x in range(1,31):
url='https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false&isSchoolJob=0'
#此处调用了一个uuid包，来模拟cookie
def get_uuid():
return str(uuid.uuid4())
cookie = "JSESSIONID=" + get_uuid() + ";"
#设置请求头
headers={
#之前设置好的动态cookie
'cookie': cookie,
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
'Accept':'application/json, text/javascript, */*; q=0.01',
'Accept-Encoding':'gzip, deflate, br',
'Accept-Language':'zh-CN,zh;q=0.9',
'Connection':'keep-alive',
'Host':'www.lagou.com',
'Origin':'https://www.lagou.com',
'Referer':'https://www.lagou.com/jobs/list_bi%E4%BA%A7%E5%93%81%E7%BB%8F%E7%90%86?px=default&city=%E5%85%A8%E5%9B%BD'
}
#设置页面请求条件
Data={
'first':'true',
'pn':1,
'kd':'bi产品经理'
}
# 用requests的post方法抓取网页。抓取出的为json格式，用该包json方法转换，并下钻字典.抓取出数据
c.append(requests.post(url,headers=headers,data=Data).json()['content']['positionResult']['result'])
注意：拉钩网需要设置动态cookie，从而避免被封禁IP
3. 保存数据
保存数据使用pandas包来建立一个数据框：
由上代码可知，最后c是一个包裹了多个字典的列表，通过以下代码将字典转化为数据框，字典的键值变为列索引，values值变为数据框内的观察值，从而最后导出为csv。
pd.DataFrame(c)
4. 总结
4.1 爬取网页注意点
-
伪装请求：headers的设置
- user-agent必须要设置，可在浏览器版本信息中查找，也可在页面请求头中查找
- cookie的设置可以从uuid中伪装动态cookie
- 本文中没提到的referer应该也可以使用。（referer是指从哪个页面跳转而来）
- 设置间隔时间？避免请求过快被封禁IP
-
多页循环爬取：for循环
- 分析页面，找出分页加载的不同之处，从而进行for循环
- for每循环一次，即要储存一次接下来方便解析的数据，这里使用列表append方法
4.2 需加强知识点
-
全自动化输出数据
- 此代码尚是一个半成品：正常的应是输入一个网址，返回一系列数据。此代码需要一步一步操作。
解决方法：将代码包装成一个自定义函数，输入url，返回数据。
- 此代码尚是一个半成品：正常的应是输入一个网址，返回一系列数据。此代码需要一步一步操作。
- list与dict的使用不熟练
- 爬虫伪装不够充分：cookie伪装需再加学习。补充其它伪装方法。
5. 接下来要做的事
- 爬取拉钩二级页面
- 创建函数，全自动化。
