用Fiddler、Charles和mitmproxy进行手机抓包的配置教程

写爬虫时,有些数据pc端并不能提供我们需要的数据例如抖音,就需要对手机端数据进行抓取,目前来说比较常用的app抓包软件:Fiddler,mitmproxy,Charles,这些软件在进行数据抓包之前都需要进行相应的代理配置:下载,保证pc端跟手机端在同一个局域网内,证书下载,端口配置等。

利用Fiddler代理配置方法

首先在在官网将Fiddler下载,下载地址:http://www.telerik.com/fiddler;下载到本地之后,按正常的安装流程即可。安装后打开的页面如下:

Fiddler抓取Android/Iphone的数据包,第一步,要保证电脑端Fiddler手机端跟电脑端在同一局域网,在这种情况下才能够实现Fiddler抓取手机端的数据;同一局域网就是有两台或以上的设备连接,并拥有相同IP网段的网络,例如pc端跟手机端连接同一个wifi,或者说电脑开热点手机连接。

第二步,对Fiddler进行相关设置:打开【Fiddler -> Tools ->options】;然后选中【Connections】选项 ,图中设置手机端需要连接Fiddler的服务器端口(一般默认即可),下面对选项[【Allow remote computers to connect】 (允许远程发送请求)进行勾选。

打开【Fiddler -> Tools ->  options】;选择HTTPS选项,勾选【Decrypt HTTPS traffic】 下面选择【from all process】选项,用来抓取手机端的https请求,如果想抓取https请求还需要在手机端安装安全证书。

第三步,手机端安装证书,先找到电脑的ip地址,在fiddler上方菜单栏里点击Online就能看到电脑的ip地址;用手机访问地址:http://IP地址:代理端口,点"FiddlerRoot certificate" 然后安装证书,例如:http://192.168.1.173:8888;有的手机在安装证书之前需要设置锁屏密码(例如小米),否则会安装不上。

接下来就是对对手机端的wifi修改代理设置;打开连接中的wifi,点记下面的代理切换到手动,以pc端的ip名为主机名,端口为Fiddler设置的端口进行填写,然后点击确定即可。

配置成功结果如下:

利用Charles代理配置方法

Charles官方下载地址:https://www.charlesproxy.com/;下载Charles,然后一键安装即可,下载后打开的页面如下,页面分为两种标签,一种是Structure,是按照域名进行区分;一种是Sequence,是按照访问时间先后进行排序:

先对Charles软件进行配置,打开客户端,点击菜单Proxy->Proxy Settings,设置服务器端口,自己也可以对端口进行修改,把下面【Enable  transpaent  HTTP  proxing】勾选上为了是让Charles自己设置成代理服务器实现抓包,对于本地系统发出的访问请求都会被截取下来。如果只是用Charles对手机抓包,菜单上的Windows proxing 就不需要勾选,可以避免pc端访问请求数据的干扰。

跟Fiddle一样,需要把电脑端和手机端配置到同一局域网;在获取Charles端口之后,也需要得到电脑端的ip地址,电脑IP地址查询方式:windows+R  输入cmd卡开命令行,然后输入ipconfig,IPv4即为本机的IP地址。

更改手机端WiFi的代理及端口:

有些小伙伴可能在配置成功的时候,手机端会出现"wifi已连接,但无法访问互联网“的现象,这时候可以先把wifi代理先转换成【无】,然后wifi断连再重新连接,这时候WiFi可以正常使用之后再更改wifi的代理,更改主级名以及端口保存即可,这时候手机就可以正常访问网络了。

用win10的小伙伴们注意一下,在进行设置之前最好先把防火墙关闭,配置成功之后,Charles的页面就如下图:

避免抓取本地或者移动端http数据乱码或者失败,需要相应配置SSL证书,电脑端跟移动端都需要相应进行配置。

电脑端安装证书,打开Charles客户端,选择菜单【 "Help" -> "SSL Proxying" -> "Install Charles Root Certificate"】

按步骤进行安装即可;

在选择证书储存位置时,只要选【个人】即可,一般来说选择的是第二项。

然后配置SSL的抓取域名:选中【"Proxy"->"SSL Proxying Settings"】,启用【Enable SSL Proxying】选项,选择add选项,Charles的Location配置是支持通配符的,因此在Host设置一个"*"就可以用来表示所有域名,port不用写。

之后如果配置某一个指定域名的时候,这里的port可以设置为443即可,这样就可以抓到指定域名的数据;

手机端SSL证书安装,打开Charles客户端,点击【"Help"-> "SSL Proxying" ->"Install Charles Root Certificate on a Mobile Device or remote Browser"】,

会出现,如下页面,意思就是让你手机端设置一个代理:192.168.2.173:1111,就是要保证移动端与pc端在同一局域网,然后用手机端浏览器访问chls.pro/ssl:

下载成功后,需要手机端本地安装,这里以红米为例,小米手机安装安全证书时需要提前设置解锁密码,否则安装不了,以下就是安装流程:

安装完之后,就可以利用charles抓取手机端http的数据了。

mitmproxy收机抓包的相关配置

mitmproxy是一个支持HTTP和HTTPS的抓包程序,有类似Fiddler、Charles的功能,只不过它是一个控制台的形式操作。

mitmproxy还有两个关联组件。一个是mitmdump,它是mitmproxy的命令行接口,利用它我们可以对接Python脚本,用Python实现监听后的处理。另一个是mitmweb,它是一个Web程序,打开它是一个监视网页,我们可以很清楚地观察到mitmproxy捕获的请求。这里是以windows为实例来进行演示。

下载方式分为两种:一种是可以直接从官网中进行下载,网址:https://docs.mitmproxy.org/,另一种是借助于python安装包pip,利用pip  install  mitmproxy命令;下载完之后,找到mitmproxy的下载目录,把下载目录配置到系统的环境变量中,配置环境变量的教程网上有很多,可以自行学习;方便使用,我们可以借助命令行测试一下,看mitmproxy是否安装成功;windows不支持mitmproxy命令,但不影响,因为windows支持mitmdump和mitmweb命令。

这里可以能够直接获取得到mitmproxy的端口为8080,第二步跟Charles一样,确保手机端与电脑端在同一局域网,电脑端的IP地址获取方式与Charles中一样,配置成功后的mitmdump如下图:

与Charles一样,如果要通过mtmproxy抓取本地跟手机端的HTTP数据,则电脑端与手机端也需要安装相应的安全证书,安装方式与Charles中介绍的方式一样,证书的获取地址为在c盘存放mitmproxy地址:【C盘 -> 用户 -> 用户名 -> mitmproxy】 。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,029评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,395评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,570评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,535评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,650评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,850评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,006评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,747评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,207评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,536评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,683评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,342评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,964评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,772评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,004评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,401评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,566评论 2 349

推荐阅读更多精彩内容