python 爬取 '展开全文' 思路(ajax)

遇到的问题:

爬知乎个人信息,碰到展开全文时,网页通过ajax发送请求,但请求被加密,无法获取

处理ajax的三种方法:

    1. 抓包获取网页post请求,分析from_data,利用requests.post(data={})模拟发送post请求,获取response 

    2. selenium获取

    3. ctrl+F搜索网页里信息所在的json文件,并抓取,利用json模块转码后提取

    4.用正则匹配网页源代码


3.具体方法:

import json

data = json.loads()

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 第一部分 HTML&CSS整理答案 1. 什么是HTML5? 答:HTML5是最新的HTML标准。 注意:讲述HT...
    kismetajun阅读 27,736评论 1 45
  • AJAX 原生js操作ajax 1.创建XMLHttpRequest对象 var xhr = new XMLHtt...
    碧玉含香阅读 3,274评论 0 7
  • 1. 概述 本文主要介绍网络爬虫,采用的实现语言为Python,目的在于阐述网络爬虫的原理和实现,并且对目前常见的...
    Lemon_Home阅读 2,819评论 0 21
  •   2005 年,Jesse James Garrett 发表了一篇在线文章,题为“Ajax: A new App...
    霜天晓阅读 902评论 0 1
  • 财富、家庭、事业、人际关系, 遇到的问题是给的少,要的多, 给真的可以创造奇迹。 给予别人,幸福自己; 给予祖先,...
    觉者李仲轩阅读 212评论 0 1