Mitmproxy 的安装与使用案例
前言：
上篇文章简单介绍了手机端的抓包工具fiddler的使用，实现了抓取抖音某用户“喜欢”的视频列表的操作。
为了在代码层面实现手机端的抓包，介绍另一款非常便捷的代理工具Mitmproxy的安装与使用。本文记于20年10月。
基础知识：
1） 什么是网络代理
通过 代理服务 访问目标网页。类似与淘宝快递的场景，买家和卖家不会有直接的接触，在一场购物过程中，卖家不需要关心你是谁、你住在哪，只需要贴条发快递即可。实际购买的五品是通过快递小哥触达买家的。在这个过程中，快递小哥充当的就是代理服务 的角色。
代理服务器（Proxy Server）作为网络信息的中转站，其功能是代理网络用户去取得网络信息。
2）什么是Mitmproxy
Mitmproxy就是一个常见的网络代理服务，与fiddler、charles类似。
“顾名思义，mitmproxy 就是用于 MITM 的 proxy，MITM(Man-in-the-MiddleAttack) 即”中间人攻击”，用于中间人攻击的代理首先会向正常的代理一样转发请求，保障服务端与客户端的通信，其次，会适时的查、记录其截获的数据，或篡改数据，引发服务端或客户端特定的行为。
不同于 fiddler 或 wireshark 等抓包工具，mitmproxy 不仅可以截获请求帮助开发者查看、分析，更可以通过自定义脚本进行二次开发。”这也是Mitmproxy的突出应用场景，除了可以实现类似fiddler的过滤浏览器对某个特定 url 的请求、查看 分析数据，还可以实现高度的定制化需求，这样的需求可以通过载入自定义代码脚本轻松实现，支持python/java等语言，简单易用。
3）Mitmproxy的基本功能有哪些
Mitmproxy是一个开源项目，github托管地址为https://github.com/mitmproxy/mitmproxy。
其项目中包含4个最重要的组件，分别为：
a. mitmproxy 是具有SSL / TLS功能的交互式拦截侦听代理，具有用于HTTP / 1，HTTP / 2和WebSockets的控制台界面。
b. mitmdump是mitmproxy的命令行版本。将tcpdump用于HTTP。
c. mitmweb 是用于mitmproxy的基于Web的界面。
d. pathoc并且pathod是错误的HTTP客户端和服务器应用程序，旨在让您制作几乎所有可能的HTTP请求，包括创造性地违反标准的请求。
简单的介绍就到这里，下面分4个步骤，以windows端为例，讲解下Mitmproxy的安装和使用。
STEP1：下载和安装Mitmproxy
Windows端Mitmproxy下载地址：https://github.com/mitmproxy/mitmproxy/releases
安装过程很简单，不赘述，一直下一步即可。
安装完成后，会自动弹出一个命令行窗口和一个web网页。
命令行窗口中，标明proxy server默认运行在8080端口上，web界面默认运行在8081端口上；
Web界面默认地址是127.0.0.1:8081，界面用于展示抓包详情。
成功出现如上界面，说明PC端的配置正常。
STEP2：手机端的配置
与fiddler等其他工具使用过程中的手机端配置类似，需要：
1）手机和PC接入同一WIFI
2）查看PC端的ip地址，如本机为192.168.0.121
3）在手机端wifi的高级设置中，配置手动代理，添加主机名为PC端ip，端口为Mitmproxy设置的端口号(默认为8080)
之后手机浏览器访问 mitm.it，下载对应终端的证书并安装即可。
以上便完成了 Mitmproxy 在 手机端的配置。
STEP3：Mitmproxy界面初识
Flows界面：
1/2. 每条flow请求的内容，GET请求, URL, 状态码, 响应类型, 大小；
3. 刷新图标代表重新request；
4. 橙色代表request正在被拦截, enter进入，按e可进行编辑；
5. 向左的箭头代表返回的response被拦截，可被编辑；
6. 请求log, EventLog模式下，按e进行日志栏打开/关闭；
7. flow请求的综述；
8. 当前的状态，包括正在拦截什么样的请求，是否在运行特定脚本；
9. 显示当前绑定的地址、端口号等；
Web界面：
以安卓手机模拟器为例展示，web界面中是抓到的请求，点击可如下图展开查看详情。基本功能与其他工具如fiddler类似。
STEP4：如何结合python代码实现简单的抓包
上文有提到，“这也是Mitmproxy的突出应用场景，除了可以实现类似fiddler的过滤浏览器对某个特定 url 的请求、查看 分析数据，还可以实现高度的定制化需求”，能够轻松结合代码实现定制化需求是Mitmproxy的突出特点，下面就放一个“python打印某用户抖音“喜欢”列表中视频元素”的实现逻辑和简单代码片段：
1）首先要抓到刷某用户“喜欢”列表的请求：
分析请求过程，发现在某条favorite的请求中，有aweme_list值，是我们想要获取的请求，分析下来，请求返回的json串中包含了相关视频的丰富信息，其中'desc'为视频的描述信息，'aweme_id'为视频的id信息，'share_url'为视频的分享连接。
2）根据抓取到的目标请求和响应，编写代码。下面是一个简单的代码块，抓取请求并解析打印响应字段：
import json
def response(flow):
print(">>>>>>>>>>>>>>Start<<<<<<<<<<<<<<<<")
if "aweme/v1/aweme/favorite" in flow.request.url:
for video in json.loads(flow.response.text)['aweme_list']:
video_info = {}
video_info['describtion'] = video['desc']
video_info['aweme_id info'] = video['aweme_id']
video_info['share_url info'] = video['share_url']
print(video_info)
在cmd命令行模式下，使用命令mitmdump -s Praser.py -p 8080跑起来，就会在命令行中持续打印信息。如下图，可以看到已经成功抓取到了想要的信息。
总结：
什么是Mitmproxy：
Mitmproxy是开源的网络代理服务，可以结合代码轻松实现手机端的抓包需求。
安装和简单的使用步骤：
STEP1：下载和安装Mitmproxy
STEP2：手机端的配置
STEP3：Mitmproxy界面初识
STEP4：结合python代码实现简单的抓包
