Python 爬虫 | 善用Charles

小编我个人是有接触炒股的,央妈说的话对市场的影响力是很大,要是我们可以知道央妈每天都发了什么公告或许可以对我们的操作有所帮助。


本次的受害者网站

aHR0cCUzYSUyZiUyZnd6ZGlnLnBiYy5nb3YuY24lM2E4MDgwJTJmc2VhcmNoJTJmcGNSZW5kZXIlM2ZwYWdlSWQlM2RmYTQ0NWY2NDUxNGM0MGM2OGIxYzhmZmU4NTljNjQ5ZQ==


目录:

1、环境

2、分析网站

3、实现爬取


1、环境

Python3.7、lxml、requests、Charles


2、分析网站

图2-1

搜索“公开市场业务交易公告“得图2-1


图2-2
图2-3

很容易就可以找到数据在第一个请求中,查看请求如图2-3,app这个参数感觉是MD5加密,但是这里先不急着对参数进行逆向。


图2-4

这里转用Charles进行抓包,修改参数可以帮助我们确定哪些参数系统是不校验的,这就可以避免很多不必要的工作

先把空的参数去掉,如图2-5


图2-5

去掉空的参数再次请求,如图2-6

图2-6
图2-7

去掉空参数请求得到的数据size和原本基本无差,说明去掉的参数无关紧要

当我试着去掉参数app再请求的时候发现居然也可以获得数据如图2-8


图2-8

既然这样谁还去傻傻的逆向参数app是怎么来的呀,加几个固定参数就好了,注意这里是post请求,本文结束。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 当今大数据的时代,网络爬虫已经成为了获取数据的一个重要手段。 但要学习好爬虫并没有那么简单。首先知识点和方向实在是...
    IT青年阅读 1,325评论 2 11
  • 渐变的面目拼图要我怎么拼? 我是疲乏了还是投降了? 不是不允许自己坠落, 我没有滴水不进的保护膜。 就是害怕变得面...
    闷热当乘凉阅读 4,349评论 0 13
  • 感觉自己有点神经衰弱,总是觉得手机响了;屋外有人走过;每次妈妈不声不响的进房间突然跟我说话,我都会被吓得半死!一整...
    章鱼的拥抱阅读 2,210评论 4 5
  • 夜莺2517阅读 127,761评论 1 9
  • 版本:ios 1.2.1 亮点: 1.app角标可以实时更新天气温度或选择空气质量,建议处女座就不要选了,不然老想...
    我就是沉沉阅读 6,961评论 1 6