谈拉钩网爬虫的源码分析、爬虫策略及问题解决

</br>
拉钩网因其json格式的结构化数据，
成为几乎所有“爬者”必经的练手场。

网上许多高手也分享了他们的经验和代码。

上一篇我们简单分析和展示了数据。
今天分几块来深入剖析拉钩网爬虫。
</br>

一、一般爬取策略

多说无益，以图为例，简要分析~

page1

page2

page3

page4

page5

page6

page7

page8

page9

page10

已经尽量解析的详细了，
一般爬取思路大概就是这样。

</br>

二 、爬虫新思路

上面我们谈了一般思路，相信很多爬友早就发现了。然而拉勾网的爬虫实在太多了，其反爬机制经常变动，爬取难度逐渐增加。

这一回我用上面的方法，结果返回这样:

懵了。
最初以为是user_agent等问题，又设随机数还是不见好。估计是拉钩修改了反爬机制。

试着模拟登录，然而，Form采用复杂的
暗文密码，成功吓退小白。

最后重新构造URL，get方式解决

那我是怎么做到的呢？
最初是盯着network发呆，后面留意到URL后面的needAddtionalResult=false

'needAdditionalResult'，额外添加?好吧，那就随便加点东西。加什么好呢？

那就随便这个好咯，然后返回这样

直接构造URL，哈哈我简直聪明~ (^_)!
纯属瞎撞，第二天想到onenote中一笔记：

我们用form提交的表单，其实最终会变成上面那样的格式。（用不用post基本差不多）

get方式获取数据，加个cookies即可。
代码如下，还是放个完整版：
# !usr/bin/env python
# --coding:utf-8 --
author='WYY'
date='2017.03.29'

#实战小项目：爬取拉钩网并作小型数据分析
import requests
import json
import xlwt
import time
import random

class Spider():
    def __init__(self):
        self.keyword=raw_input(u'请输入职位：')

    #获取数据
    def getData(self,url):
        user_agents=['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0',
                   'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0',
                   'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ \(KHTML, like Gecko) Element Browser 5.0',
                   'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en)',
                   'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)',
                   'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14',
                   'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) \Version/6.0 Mobile/10A5355d Safari/8536.25',
                   'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) \Chrome/28.0.1468.0 Safari/537.36',
                   'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)']
        index=random.randint(0, 9)
        user_agent=user_agents[index]
        headers={'User_agent':user_agent,
             'cookie':'user_trace_token=20170328171202-9af479cf-1396-11e7-a59b-525400f775ce; LGUID=20170328171202-9af4825b-1396-11e7-a59b-525400f775ce; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; hasDeliver=0; index_location_city=%E5%85%A8%E5%9B%BD; JSESSIONID=9E6568091D64AB8515B8E70D354BC10D; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1490692322,1490704679,1490704945,1490746875; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1490748769; _ga=GA1.2.407060577.1490692322; LGSID=20170329082118-a0c3b596-1415-11e7-a659-525400f775ce; LGRID=20170329085249-080c8c0b-141a-11e7-9574-5254005c3644; SEARCH_ID=9bc41c0071964f8c804e9f67a0a5c073'}
        html=requests.get(url,headers=headers)
        data=json.loads(html.text)
        return data

    #获取职位信息并存入列表
    def getPosition(self,url):
        data=self.getData(url)
        position=data['content']['positionResult']['result']
        po_list=[]
        if position is not None:
            for i in position:
                main=[]
                main.append(i['companyFullName'])
                main.append(i['financeStage'])
                main.append(i['positionName'])
                main.append(i['positionLables'])
                main.append(i['salary'])
                main.append(i['city'])
                main.append(i['education'])
                main.append(i['workYear'])
                main.append(i['jobNature'])
                main.append(i['createTime'])
                po_list.append(main)
        return po_list

    #获取数据,存入一个大的list
    def saveDetail(self):
        self.New=int(raw_input(u'请输入要爬取的页数:'))
        self.time=time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
        print u'\n本地时间：',self.time
        print u'\n开始采集数据...'
        container=[]
        for page in range(1,self.New+1):
            self.url='https://www.lagou.com/jobs/positionAjax.json?px=new&first=true&pn='+str(page)+'&kd='+str(self.keyword)
            po_list=self.getPosition(self.url)
            time.sleep(3)
            print u'第',page,u'项完毕'
            container=container+po_list
        return container

    #将数据存入excel
    def saveAll(self):
        book=xlwt.Workbook()
        sheet =book.add_sheet(str(self.keyword), cell_overwrite_ok=True)
        container=self.saveDetail()
        print u'\n采集完毕'
        print u'\n准备将数据存入表格...'
        heads=[u'公司全名', u'融资状况', u'工作名称', u'标签', u'薪酬', u'城市', u'学历要求',u'经验要求',u'工作类型',u'数据创建时间']
        ii=0
        for head in heads:
            sheet.write(0,ii,head)
            ii+=1
        i=1
        for list in container:
            j=0
            for one in list:
                sheet.write(i, j, one)
                j+=1
            i+=1
        book.save(str(self.keyword)+'.xls')
        print u'\n录入成功！'

spider=Spider()
spider.saveAll()

有盆友可能会问了：随便设个New简单,
可怎么获得最大页数呀？

好吧，我坦白：手动试出来的
（先大概定个范围，每次取中间数，试个5、6次就出来了，也简单）

其实我也想过用个if position==[]或者if position=None就break结束循环，可却不知道为什么行不通，真是怪了。可是如果先遍历获取最大页数，后面又得遍历一次，抓取次数多了，难保不被网站发现被封IP。
只好这样了（这里有待改进）。

可以看到，整个爬取过程仅用request、json、xlwt等几个关键库。

总结爬虫新思路：

直接用pn构造URL实现翻页，加上cookies伪装成浏览器，get方式获取####

是不是hin简单^_
</br>
</br>

三、突破IP限制

爬虫爬到一半时，又出了幺蛾子

再上去一看

原来IP被封 了，难怪。
（这样的情况还是第一次）

查了一下，网上有说可以用代理池。
可又得设计爬虫抓代理，不免麻烦。
后面想到之前爬图片网站时，注册的vpn。

vpn不就是代理么，还可各种线路随便切换，哈哈哈我简直聪明~ (^_)！

查了一点资料，有关反反爬及突破IP限制，
总结几个方法：
1、设置代理池（可以网上抓代理，不过稳定性是问题）
2、使用vpn（原理同上）
3、分布式抓取（这个我也没学到>_<）
4、设置等待时间，放慢抓取速度
5、修改请求头（ user_agent、cookies）
6、模拟登录
当然，最有效当属123

</br>

四、数据分析 — 一些感悟

工具用的BDP（奇妙的分析软件）。
词云用的标签一栏，直接丢BDP自动生成。
后面发现有欠妥当，因为有些数据标签那一块什么都没有。对几个维度进行了粗略分析，效果还不错，比如这样

细心的盆友可能又发现了，怎么没有C# ？
其实，我也想的。。。

如图所示搜C#时，会搜出许多C\C++的内容，乱而麻烦，只好舍弃。

第一次亲自参与3万多数据的分析，新鲜。后面一想，其实爬虫程序不过只是个采集数据的手段（或者说工具）。

关键还是具体的数据分析以及应用转化 单单抓个几十万烂在excel表里，没有任何意义。
</br>
</br>

五、源码剖析 — 新发现

爬过拉钩的朋友肯定会发现一个现象：
打开一个页面，过一阵子再重新打开
发现不再是原来页面了，变成了别的。

可是真的是这样么？

放几个图

page one

page two

page three

get到了么？
只是顺序变了下，内容是不变的。

换汤不换药，特么全是 障眼法 啊！！！
难为了拉钩的前端工程师 [摊手]

看来也只有我这种** 既无聊又聪明又有耐心**的人才会发现了

84769047

</br>

这个小项目我也放到了github上了：https://github.com/LUCY78765580/Python-web-scraping/blob/master/LaGou/LaGou.py
最后总结本篇 几个要点：

1、拉钩爬虫一般方法：Post模拟浏览器
2、新思路：get方式+cookies伪装，
直接pn构建URL实现翻页和遍历
3、突破IP限制（各种方法）
4、程序不过工具，关键策略、数据分析
5、源码剖析新发现：页面原来障眼法

为了对得起这个"深入剖析"的标题，小白已经尽她最大的努力啦~

（学习爬虫才一月左右，文章可能有不足之处，个中出入还请各位大神多多指正）

本篇就是这样啦~