遇到的问题:
爬知乎个人信息,碰到展开全文时,网页通过ajax发送请求,但请求被加密,无法获取
处理ajax的三种方法:
1. 抓包获取网页post请求,分析from_data,利用requests.post(data={})模拟发送post请求,获取response
2. selenium获取
3. ctrl+F搜索网页里信息所在的json文件,并抓取,利用json模块转码后提取
4.用正则匹配网页源代码
3.具体方法:
import json
data = json.loads()