常见的http代理有:Fiddler、Charles以及下来要介绍的Mitmproxy,几款抓包软件本人都使用过,可以说是各有各的特点。Mitmproxy小巧强大,最吸引我的是它支持加入Python脚本,方便开发人员直接处理监听到的数据。
安装
这步比较简单,直接pip install mitmproxy
,或者自行下载安装包。更多更详细的安装说明可以查看这篇文章:MitmProxy的安装
使用
window下不支持使用mitmproxy
,但可以使用另外两个附带的组件:mitmdump
和mitmweb
,二选一在控制台输入,代理开启后默认的监听端口为8080
。mitmdump
是纯控制台输出的监听形式,mitmweb
则对应有相关的web监听界面。
更改监听端口?添加-p
参数,如mitmdump -p 10000
;想指定py脚本?带上-s
参数即可,如mitmweb -s out.py
;完整的参数信息及使用应该查看官网说明,下来的示例中会介绍Python脚本的使用。
示例
mitmproxy
中定义了一系列完整的监听流程事件,通常这并不需要我们关注太多,常见的Events莫过于request
和response
,完整的mitmproxy
事件请点击这里查看,下面的简单示例或许对你有帮助:
import mitmproxy.http
def request(flow: mitmproxy.http.HTTPFlow):
"""
The full HTTP request has been read.
"""
flow.request.headers["User-Agent"] = "Chrome/66.0.3497.100"
pretty_url = flow.request.pretty_url
print(pretty_url)
def response(flow: mitmproxy.http.HTTPFlow):
"""
The full HTTP response has been read.
"""
content = flow.response.content
print(content)
小结
在功能上多数抓包软件大同小异,重要的还是得根据场景来选择最合适的;我当初接触到mitmProxy
,是因为在爬取某APP数据的时候,尝试了一段时间都没有还原出客户端接口加密的请求流程,后来结合使用了Appium
和mitmProxy
,算是部分实现了该需求。综上,全文只是简单浅显的介绍了mitmproxy
,而往往看官方文档才是最完整和高效的。
文章已授权转载,原文链接:小巧实用的 HTTP 代理抓包工具:mitmproxy