参考:
我昨天用的正规有道API测试翻译小说,结果很快就炸了。所以找了下怎么爬取有道翻译主页。
主要步骤:
- chrome F12查看表单数据
- 查看网页源代码,找到类似这样的js文件(因为可能经常会变,比如参考资料中的第二个里面的js文件已经找不到了):
<script type="text/javascript" src="http://shared.ydstatic.com/fanyi/newweb/v1.0.9/scripts/newweb/fanyi.min.js"></script>
- 复制js文件,格式化
- 在里面查找'salt'关键字,我找到的是这个:
function (e, t) {
var n = e("./jquery-1.7");
e("./md5");
e("./utils");
var r = null;
t.asyRequest = function (e) {
var t = e.i,
i = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)),
o = n.md5("fanyideskweb" + t + i + "ebSeFb%=XZ%T[KZ)c(sy!");
r && r.abort(),
r = n.ajax({
type: "POST",
contentType: "application/x-www-form-urlencoded; charset=UTF-8",
url: "/bbk/translate_m.do",
data: {
i: e.i,
client: "fanyideskweb",
salt: i,
sign: o,
tgt: e.tgt,
from: e.from,
to: e.to,
doctype: "json",
version: "3.0",
cache: !0
},
dataType: "json",
success: function (t) {
t && 0 == t.errorCode ? e.success && e.success(t) : e.error && e.error(t)
},
error: function (e) {
}
})
}
}),
- 分析下它的加密算法,其实很简单,就是一个常量“fanyideskweb” + 要翻译的内容 + 时间戳和随机数 + 一个常量"ebSeFb%=XZ%T[KZ)c(sy!"(很显然,这个常量可能会时不时的变),然后再把这整个字符串进行MD5就得到了sign
- 根据这个写成python:
def translate(content):
url = "http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule"
S = "fanyideskweb"
n = content
r = str(int(time.time() * 1000) + random.randint(1, 10))
D = "ebSeFb%=XZ%T[KZ)c(sy!"
sign = hashlib.md5((S + n + r + D).encode('utf-8')).hexdigest()
data = {"i": content,
"from": "AUTO",
"to": "AUTO",
"smartresult": "dict",
"client": "fanyideskweb",
"salt": r,
"sign": sign,
"doctype": "json",
"version": "2.1",
"keyfrom": "fanyi.web",
"action": "FY_BY_CLICKBUTTION",
"typoResult": "false"}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36",
"Referer": "http://fanyi.youdao.com/",
"Cookie": "OUTFOX_SEARCH_USER_ID=-1038070705@10.168.8.63; JSESSIONID=aaaP2Qy4ztAfyfZRXzktw; OUTFOX_SEARCH_USER_ID_NCOO=570232601.9713346; fanyi-ad-id=47865; fanyi-ad-closed=1; ___rl__test__cookies=1532406668184"}
response = requests.post(url, headers=headers, data=data).content.decode('utf-8')
logging.debug(response)
result = json.loads(response)['translateResult'][0][0]['tgt']
print(result)
其中的header部分是我直接从参考资料1里面拷下来的。好吧,其实大部分都是。。。
但是这个函数还是有点问题的,因为它只返回了翻译结果中的第一个数组。把json结果提取出来合并成一个字符串可以看这篇文章:Python 列表生成式解析json
顺便说一句,使用未公开的API进行商业用途好像是违法的。所以这个最多只能用来学习测试用哦!