2018/1/21 第一次 爬取拉钩一级页面

1. 分析拉勾网页面

拉勾网页面使用ajax技术，so,页面内容在Chrome-检查-XHR中，请求方式为post。

请求头2-1

请求头2-2

拉钩不同页面是怎样加载的呢？：
经观察后，拉钩翻页，pn变动，其余不变。所以可以看出要爬取不同页面只需要改变pn的值即可。

2.Python爬取

1. 拉勾网请求方式为post，所以使用requests包中的post方式。
2. 拉钩加入了反爬机制，所以要requests中需加请求头，以尽量伪装成浏览器发送请求。代码如下：

c=[]
# 用for方法遍历所有pn值，即所有网页。
for x in range(1,31):
    url='https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false&isSchoolJob=0'
#此处调用了一个uuid包，来模拟cookie
 def get_uuid():
        return str(uuid.uuid4())
    cookie = "JSESSIONID=" + get_uuid() + ";" 
    #设置请求头
    headers={
            #之前设置好的动态cookie
            'cookie': cookie,
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
            'Accept':'application/json, text/javascript, */*; q=0.01',
            'Accept-Encoding':'gzip, deflate, br',
            'Accept-Language':'zh-CN,zh;q=0.9',
            'Connection':'keep-alive',
            'Host':'www.lagou.com',
            'Origin':'https://www.lagou.com',
            'Referer':'https://www.lagou.com/jobs/list_bi%E4%BA%A7%E5%93%81%E7%BB%8F%E7%90%86?px=default&city=%E5%85%A8%E5%9B%BD'
            }
#设置页面请求条件
Data={
    'first':'true',
    'pn':1,
    'kd':'bi产品经理'
    }
# 用requests的post方法抓取网页。抓取出的为json格式，用该包json方法转换，并下钻字典.抓取出数据
c.append(requests.post(url,headers=headers,data=Data).json()['content']['positionResult']['result'])

注意：拉钩网需要设置动态cookie，从而避免被封禁IP

3. 保存数据

保存数据使用pandas包来建立一个数据框：
由上代码可知，最后c是一个包裹了多个字典的列表，通过以下代码将字典转化为数据框，字典的键值变为列索引，values值变为数据框内的观察值，从而最后导出为csv。

pd.DataFrame(c)

4. 总结

4.1 爬取网页注意点

1. 伪装请求：headers的设置
   • user-agent必须要设置，可在浏览器版本信息中查找，也可在页面请求头中查找
   • cookie的设置可以从uuid中伪装动态cookie
   • 本文中没提到的referer应该也可以使用。（referer是指从哪个页面跳转而来）
   • 设置间隔时间？避免请求过快被封禁IP
2. 多页循环爬取：for循环
   • 分析页面，找出分页加载的不同之处，从而进行for循环
   • for每循环一次，即要储存一次接下来方便解析的数据，这里使用列表append方法

4.2 需加强知识点

1. 全自动化输出数据
   • 此代码尚是一个半成品：正常的应是输入一个网址，返回一系列数据。此代码需要一步一步操作。
     解决方法：将代码包装成一个自定义函数，输入url，返回数据。
2. list与dict的使用不熟练
3. 爬虫伪装不够充分：cookie伪装需再加学习。补充其它伪装方法。

5. 接下来要做的事

1. 爬取拉钩二级页面
2. 创建函数，全自动化。