最近因为公司需要爬取裁判文书网的某一类别文章数据,于是简单研究了一下,发现网站数据全是js加载的,于是想都没想直接用selenium尝试爬取,没想到竟然有selenium都抓取不到的js(刚毕业的python小白哈哈)。于是在网上搜取各种裁判文书网的爬虫思路方法,发现有还是有挺多前辈研究过的,我根据他们的思路也研究了一下,但是作为小白的我也只能明白大概思路,但是有很多省略没写的地方我也是全然不会,但是好在我也并没有放弃呀,于是在坚持不懈的以及公司动的前端的小哥哥的帮助下,终于将裁判文书网给攻破了。所有我想总结一下作为小白的思路,我尽可能的写的详细一点,希望大家能看明白哈!
首先,如果用python爬虫的话,由于此篇需要执行js文件来获取参数,所以可以使用python一个叫PyV8的一个库来执行js文件,具体用法大家可以去网上搜索,这里就不做解释了。但是安装这个库需要用python2来执行,并且我当时安装的好像不怎么顺利,费了好些劲才装上。如果到最后实在不行,可以用另外一个库execjs,我没用过,不过应该也可以的。
接下来就是分析网页了:
进入裁判文书网首页之后,点击或者输入某一个搜索名称,例如搜索 :建设工程,之后会进入相关列表页。F12打开调试器会发现没法调试,需要关闭右下角的反调试按钮:
接下来分析js文件,可以知道一个叫ListContent的文件,他的返回数据正是我们需要的文章ID:
可是怎么获取到他呢? 通过查看他的Headers头可以发现,该请求方式是通过post请求的,传递的参数分别是:Param,Index,Page,Order,Direction,v15x,number和guid八个参数。
其中前五个很好理解,但是后面三个参数v15x,number,guid就是需要观察其他js文件来获取的了。
经过多番研究后,我的思路是首先获取guid,再通过guid得到number参数,最后再想办法获取到v15x参数。
一 首先,我在一个叫Lawyee.CPWSW.List.js文件里面找到了guidCreat的函数,该函数定义了两个变量,var creatGuid 函数和var guid变量。观察发现,原来guid就是通过这两个变量获取的呀,于是就将这两个函数复制到我的js文件里面了。
代码如下:这样只要在python代码里面执行调用这个函数,就可以返回guid的值了。
二 接下来就是获取number了。可以看到,通过请求GetCode这个文件我们可以获取到number值
再观察他的headers头发现,该请求是一个post请求,并且需要传递上一步获得的guid参数。
在这里我还要提醒一下大家,请求头里面cookie在这里也是一个重要的参数。大家观察一下每一个js文件里面的cookie值,除了控制台里面显示出来的第一个请求文件里面request Headers的cookie以外,其他请求文件的cookie都是一样的(cookie里面大家主要看vjk15这个值就好),而这第一个请求文件正好会返回Set-Cookie这一参数,意思是这时候服务器会对你动态设置一个cookie值,这个值就是你这以后请求网页所需要带上的。并且也是后面计算v15x这个参数所需要的。
所有在这里我们请求ListCode这个文件的时候,需要先请求第一个文件来获取cookie值。代码如下,这样我们就可以带上这个cookie的vjk15来请求下一个文件了。
现在可以请求LisyCode来湖区number值了,只需要在header里面带上刚才获取到的vjk15值,然后post带上guid的值就可以返回得到number了。附上代码:
三 现在只剩最后一步,获取v15x这个参数
再次查找js文件,发现在Lawyee.CPWSW.List.js这个文件里面有如下代码:
原来参数v15k是通过调用getKey()函数实现的,name我们接下来找找这个getKey()函数在哪个地方。于是在刚才我们说的第一个请求文件里面发现了它:
观察这个函数可以发现,里面还需要用到其他的js文件里面的函数和我们刚才获取到的cookie里面的vjk15的值,这里还需要用到hex_sha1,md5等这些函数,现在找到md5.js这个文件,最简单的方法就是把这两个文件的这些函数全部复制进来你的js文件里面就可以了(提醒一下网站的这些js代码都是压缩过的,直接放到python里面运行会报错,所以需要先找个网站格式化一下代码。),然后再自己添加一个getcookie的函数,返回你前面获取到的vjk15值传入getKey函数就可以得到v15k这个参数了。
getKey这段js代码对于新手来说有些复杂,因为里面还需要用到一些其他js文件里面定义的函数,所以需要好好分析一下它都需要些什么,再把它找出来后放在一起。
现在三个参数都得到了,通过访问ListContent就可以返回文章ID了(记住还需要在headers里面带上你第一步返回的cookie的vjk15值哦)
现在就到此结束了,希望对大家有所帮助!
