爬虫记录：斗智斗勇

每次爬虫都感觉很新鲜，总是有新的收获，总能学到很多新知识，这话一点不假。
和建站的同行们斗智斗勇总是其乐无穷。

这次爬虫起源于在家里看剧，寻找资源是找到了这么个站：

1.png

想着点击度盘下载，不料跳出一个这个玩意：

2.png

这下就有点烦了，闲着无聊，习惯性地F12，右键查看，想找度盘地址，看到这么个函数：

3.png

那就找找localdown()呗
先是找找外部加载的js,看了看没有，判断不是外部加载的。在html中直接crtl+F搜索localdown，也没找到这个函数，只发现了这个：

5.png

???WTF，what is this???为什么出现了eval()?function(p,a,c,k,e,r)是什么鬼？
这下我就有点懵逼了。经过一番思索和查询，了解到
eval()书本上，网上最常见的使用例子是计算字符串，但实际上它的功能是将接收的字符串当做js代码来执行。这里里面放了一个带参数的函数表达式，因此就会执行这个函数表达式。于是我把这串代码复制到了本地，由于本地使用node环境，在函数中的

return p

之前加了一串

console.log(p)

将这串代码一运行：

function a(p, a, c, k, e, r) {
e = function (c) {
return c.toString(a)
};
if (!''.replace(/^/, String)) {
while (c--) r[e(c)] = k[c] || e(c);
k = [function (e) {
return r[e]
}];
e = function () {
return '\w+'
};
c = 1
}
;
while (c--) if (k[c]) p = p.replace(new RegExp('\b' + e(c) + '\b', 'g'), k[c]);
console.log(p);
return p
}
a('9(1.2("4")){1.2("4").7=a;c d=g;c 5=3;8()}e 8(){9(5==0){1.2("4").6="开始下载";1.2("4").7=h}i{1.2("4").6="防刷新 "+5;5--;j.k("8()",d)}}e l(){1.2("m").6="b";1.2("f").o="?p=q"+"b&n="+r(s*t.u());1.2("f").v();1.2("4").7=a;1.2("4").6=" 下载中... "}', 32, 32, '|document|getElementById||btsubmit|wait|value|disabled|updateinfo|if|true||var|speed|function|downform|1000|false|else|window|setTimeout|localdown|ac||action|act|sub|parseInt|10000000000|Math|random|submit'.split('|'), 0, {});

就跑出来这么个结果：

6.png

放在IDE里一看，好家伙，真把函数藏这了：

7.png

这个可能是函数混淆或者打包，压缩的结果，为了安全或者性能考虑吧，整出一个这玩意。居然用eval()输出这段代码，我。。。
可以看到在表单提交的时候，将id为ac的input元素节点里的值设置为了b，这个算是个伏笔，和后面查看post请求中的data相对应。
函数找到了，对照着寻找html的表单就找到了对应的部分（html部分也复制到IDE中）：

8.png

注意到这个表单中，居然有4个隐藏的input元素，type=hidden，我心里一阵mmp，这又是为啥?转念一想
是不是靠这个来确定资源的id呢？movid应该指的就是资源的ID。
这四个待会也会在表单的data中见面。

到这里就发现不对劲啊，在下载页面，我输了验证码之后，点开始下载，页面就直接跳转到度盘地址了，网页被重定向了，但是表单的action指向了

9.png

不是度盘地址啊，于是带着好奇的心情，在浏览器的地址栏里输入了构造好的url：
http://www.dlkoo.com/down/downfile.asp?act=subb&n=7655088886
返回来这么一个结果

10.png

这一下子可是点燃了我的斗志啊，要防盗链是吧?

立马F12,把正常流程走了一遍，开始抓包，但是遇到了第一个问题,包呢？
怎么找只有请求度盘url的包，怎么找不到请求url为
http://www.dlkoo.com/down/downfile.asp?act=subb&n=7655088886的包呢？
这不可能啊！？
注意到chorme这里有一个log记录可以勾选,勾选后就抓到了这个包:

11.png

发现这个post包的状态码为302，即重定向，response header中包含了跳转页面度盘的url,因此之前抓不到包是因为页面经过了重定向，network被刷过一次新，之前没开preserve log，就被刷新掉了，所以看不见。
发现了这个问题，思路上终于清晰起来，可以打开pycharm了。

在python3上使用requests库
构建header，使用session维持cookie,而且完成模拟的步骤，还需要输入验证码，因此一步一步来。
首先人眼本地识别验证码

r=req.get('http://www.dlkoo.com/down/GetCode.asp')

imgpath = 'E:/demo/rijvpc/1.jpg'
with open(imgpath, 'wb') as f:
f.write(r.content)

code=str(input('请输入验证码'))

然后

headers={
'Host':'www.dlkoo.com',
'Referer':'http://www.dlkoo.com/down/downfile.asp?did=331878',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36'
}

data={
'id':'1',
'did':'331878',
'ac':'b',
'movid':'442578091',
'codestr':code
}

r2 = req.post('http://www.dlkoo.com/down/downfile.asp?act=subb&n='+suiji, data=data,headers=headers)

print(r2.status_code)
print(r2.text)
print(r2.headers)

这里有一些注意的地方：
1.post提交的表单中数字值一律用字符串，这是要使用str函数的原因
2.post中data不是json,requests库中另有json方法

猜猜输出了啥呢?

print(r2.status_code) //500
print(r2.text) // 啥也没有
print(r2.headers) //输出headers，用于对照浏览器成功的包

什么不应该是302吗？为什么是500呢？？500啥意思？
500：

12.png

别人的源码肯定没错，那肯定是我这边的问题啊！
开始漫长的排错工作，改headers，改这，改那，都没用，这可咋整啊，都到了最后一步怎么能放弃呢？
经过漫长的思索，想起来之前看过的一个python爬虫视频，里面在调错时，是先尝试错的，再试对的，如果真的是headers有问题，输错验证码，应该也不能正常返回结果！
因此做了个小尝试：