前言
嗨喽！大家好呀，这里是魔王~
课程亮点：
- 系统分析网页结构
- 动态数据抓包演示
- json数据解析
- JS解密
环境介绍：
- python 3.8
- pycharm >>> 需要安装nodejs插件
- Nodejs 解释器 用来运行JS代码的
模块使用:
- requests >>> pip install requests
- execjs >>> pip install pyexecjs
如何安装python第三方模块:
- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
- 在pycharm中点击Terminal(终端) 输入安装命令
如何配置pycharm里面的python解释器?
- 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
- 点击齿轮, 选择add
- 添加python安装路径
pycharm如何安装插件?
- 选择file(文件) >>> setting(设置) >>> Plugins(插件)
- 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
- 选择相应的插件点击 install(安装) 即可
- 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效
爬虫案例基本流程:
一. 数据来源分析
- 确定采集网站视频, 需要什么数据
- 通过开发者工具进行抓包, 分析我们想要的数据 是那个url地址发送的请求
post 请求 >>> 需要提交data表单数据
分析请求参数变化规律, sign 参数, 每次请求都不一样
第一种方式扣代码:
- 做JS解密, 其实就扣代码 我想要sign参数 是哪里来的, 把那一段代码扣下来
- 运行JS代码, 运行之后, 肯定是会报错的 一般情况 什么什么没有定义, 缺什么补什么
通过python 去调用JS代码内容 从而得到返回数据内容
第二方式直接用python改写JS代码:
二. 代码实现过程: 发送请求, 获取数据, 解析数据, 保存数据
- 发送请求, 对于翻译接口发送请求
- 获取数据, 获取服务器返回数据内容
- 解析数据, 提取我们想要翻译结果
如果想要去做JS解密, 首先就要分析它是那个参数加密的 其次呢 去分析加密参数是通过那个JS代码生成的,怎么生成的 然后就是扣代码
JS逆向里面最简单一个案例...没有之一
代码
# 导入数据请求模块
import requests
# 导入格式化输出模块
import pprint
# 导入execjs
import execjs
# 导入md5解密模块
import hashlib # 内置模块
# 导入时间模块
import time
# 1647329439.9328077
# 16473294570110
# 16473295059531
# m3u8 AES加密
while True:
word = input('请输入你想要翻译的内容(输入0即可退出): ')
if word == '0':
break
# f = open('有道.js', encoding='utf-8')
# js_code = f.read()
# compile_code = execjs.compile(js_code)
# json_data = compile_code.call('youdao', word)
string = "fanyideskweb" + word + str(int(time.time() * 10000)) + "Ygy_4c=r#e#4EX^NUGUc5"
sign = hashlib.md5(string.encode('utf-8')).hexdigest()
# print(json_data)
url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule' # 确定请求网址
# headers 请求头 伪装python代码, 如果你不伪装, 就被识别出来是爬虫程序, 从而得不到数据内容
headers = {
'Cookie': 'OUTFOX_SEARCH_USER_ID=1092484940@10.169.0.82; OUTFOX_SEARCH_USER_ID_NCOO=1350964471.5510483; JSESSIONID=aaa_jaG1Fa7rPdutNrm_x; ___rl__test__cookies=1647328160933',
'Host': 'fanyi.youdao.com',
'Origin': 'https://fanyi.youdao.com',
'Referer': 'https://fanyi.youdao.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36',
}
# 表单数据, post请求都是需要提交一个from data 表单数据
data = {
'i': word,
'from': 'AUTO',
'to': 'AUTO',
'smartresult': 'dict',
'client': 'fanyideskweb',
'salt': int(time.time() * 10000),
'sign': sign,
'lts': int(time.time() * 1000),
'bv': 'c2777327e4e29b7c4728f13e47bde9a5',
'doctype': 'json',
'version': '2.1',
'keyfrom': 'fanyi.web',
'action': 'FY_BY_REALTlME',
}
response = requests.post(url=url, data=data, headers=headers) # <Response [200]> 200 状态码请求成功 响应对象
# response.json() 返回json字典数据 键值对取值
translateResult = response.json()['translateResult'][0][0]['tgt']
# pprint.pprint(response.json())
print('翻译的结果: ', translateResult)
视频教程
https://www.bilibili.com/video/BV16Y4y1v7D7?share_source=copy_web
尾语
好了，我的这篇文章写到这里就结束啦！
有更多建议或问题可以评论区或私信我哦！一起加油努力叭(ง •_•)ง
喜欢就关注一下博主，或点赞收藏评论一下我的文章叭！！！
