网络爬虫，是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。但是当网络爬虫被滥用后，互联网上就出现太多同质的东西，原创得不到保护。于是，很多网站开始反网络爬虫,想方设法保护自己的内容。 ------摘自百度百科
本文以有道翻译为例作为讲解，使用的 python 3.5.2 版本 ，涉及到反爬虫手段有 sign签名、时间戳，逆向解析 js 来确定签名算法。
有道翻译分析
http://fanyi.youdao.com/ (感谢有道！)
1、抓包分析
观察后发现有道是在输入关键字翻译后通过发起ajax请求来获得json数据，翻译结果在json响应中。
首先打开有道翻译的网址和浏览器的开发者工具(这里使用chrome)，把之前加载的包清空，然后有道网页来获取包。
-
查看后可以看到刚开始 ajax 请求为空，同时加载了一堆js文件。
开发者工具抓包 -
输入一个需要翻译的词，如：china ，点击翻译，再用开发者工具查看，出现一个ajax请求，从 response 分析就是得到了翻译结果的json数据
ajax请求 -
这时需要分析ajax 请求包，查看请求的信息，发现这是一个post请求，可以看到post的表单数据和url，多查询几次可以发现表单数据中只有 salt 和 sign 两个字段是变化的，所以我们要找到这两个字段是构建的算法，从经验来看 salt 字段很像一个时间戳的变换，这需要进一步验证。
分析请求 -
接下来到所有的 js 文件中查找 ajax 请求的源码以及构建 form data 的算法。最后查到 是在 fanyi.js 文件中进行的请求。
查找发送ajax的js -
把 fanyi.js 文件源码复制到编辑器中，使用格式化插件格式化一下，得到便于我们查看的格式源码，这样更便于分析。于是找到了以下的内容，有了这些源码就可以分析了，salt 的确是时间戳，后面加了随机数，sign 是几个数相加后进行 md5 加密得到的：
分析js源码
2、构建数据，发起请求
有了以上的数据，我们就可以开始构建请求了，做一个使用有道翻译这个 api 进行翻译的小程序，这里有一个要注意的地方，请求中获取的url 需要去除 “_o” ：
http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&sessionFrom=
代码如下：
import random
import requests
import time
import hashlib
import json
class YouDaoTrans(object):
def __init__(self, keyword):
self.url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&sessionFrom='
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.75 Safari/537.36'
}
self.keyword = keyword
self.form_data = {
"i": keyword,
"from": "AUTO",
"to": "AUTO",
"smartresult": "dict",
"client": "fanyideskweb",
"salt": self.get_salt(),
"sign": "",
"doctype": "json",
"version": "2.1",
"keyfrom": "fanyi.web",
"action": "FY_BY_CLICKBUTTION",
"typoResult": "false"
}
# js的代码： f = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)),
# 通过13位的时间戳加上一个随机的个位数
# python 中的时间戳是 10位加小数点，可以乘以 1000 取整
def get_salt(self):
# 获取时间戳
timestamp = time.time()
# 生成salt
salt = int(timestamp*1000) + int(random.random()*10)
return salt
# var g = n.md5(u + d + f + c);
# sign 通多几个数相加然后进行 md5 加密
def get_sign(self):
u = self.form_data['client']
d = self.form_data['i']
f = self.form_data['salt']
c = "rY0D^0'nM0}g5Mm1z%1G4"
str_data = u + str(d) + str(f) + c
# md5加密
m = hashlib.md5()
m.update(str_data.encode('utf-8'))
sign = m.hexdigest()
return sign
# 翻译过程
def translate(self):
response = requests.post(self.url, data=self.form_data, headers=self.headers)
dict_result = json.loads(response.content)
print(dict_result['translateResult'][0][0]['tgt'])
# 开始运行
def start(self):
self.form_data['sign'] = self.get_sign()
self.translate()
if __name__ == '__main__':
while True:
keyword = input('请输入要翻译的内容, 输入 need-quit 退出:')
if keyword == 'need-quit':
break
youdao = YouDaoTrans(keyword)
youdao.start()
个人博客：python爬虫-有道翻译(js分析)
