Python爬虫之微打赏爬虫

昨天有学员问我爬虫的问题,说xpath语法写出来没数据。其实可能是其他地方错了,而不是xpath语法的问题,我们需要学会找错误的原因。

  • 打印下请求的内容,看有没有你要的数据。
  • 没有的话,是不是请求错误。
  • 请求成功是不是异步加载。
    这样一步步排错。
    今天继续这位学员的问题,他需要爬取微打赏的数据。

网站分析

  • 打开网站,翻页网页不变,看看是post的请求,很好办,直接把参数怼进去,这里只要切换page就能进行翻页。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,026评论 19 139
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 173,705评论 25 709
  • 发现 关注 消息 iOS 第三方库、插件、知名博客总结 作者大灰狼的小绵羊哥哥关注 2017.06.26 09:4...
    肇东周阅读 12,261评论 4 61
  • 第二期罗伟思维导图早读会 时间:5月12日 完成:12/28(第12天/共28天) 主题:养成良好的生活习惯,赢得...
    一天一世界阅读 291评论 0 0
  • 该类存放在CAAnimation.h文件中 Super Class Attribute 转场类型,默认类型为'fa...
    Jackson_Chan阅读 161评论 0 0