程序员日常工作中少不了网络http请求分析。比如要看看别人的App数据请求是怎么设计的，就需要用代理软件来抓包分析。
代理软件想必大家都知道抓包神器Charles但可惜是收费的。
今天我来介绍一款开源代理软件AnyProxy。
AnyProxy是一个开放式的HTTP代理服务器。
主要特性包括：
基于Node.js，开放二次开发能力，允许自定义请求处理逻辑
支持Https的解析
提供GUI界面，用以观察请求。
npm install -g anyproxy
启动
- 命令行启动AnyProxy，默认端口号8001
anyproxy
- 启动后将终端http代理服务器配置为127.0.0.1:8001即可
- 访问http://127.0.0.1:8002 ，web界面上能看到所有的请求信息
其他命令
- 配置启动端口，如1080端口启动
anyproxy --port 1080
作为npm模块使用
AnyProxy可以作为一个npm模块使用，整合进其他工具。
如要启用https解析，请在代理服务器启动前自行调用
AnyProxy.utils.certMgr相关方法生成证书，并引导用户信任安装。或引导用户使用anyproxy-ca方法。
- 引入
npm i anyproxy --save
- 使用举例
const AnyProxy = require('anyproxy');
const options = {
port: 8001,
rule: require('myRuleModule'),
webInterface: {
enable: true,
webPort: 8002
},
throttle: 10000,
forceProxyHttps: false,
wsIntercept: false, // 不开启websocket代理
silent: false
};
const proxyServer = new AnyProxy.ProxyServer(options);
proxyServer.on('ready', () => { /* */ });
proxyServer.on('error', (e) => { /* */ });
proxyServer.start();
//when finished
proxyServer.close();
-
Class: AnyProxy.proxyServer
-
创建代理服务器
const proxy = new AnyProxy.proxyServer(options) -
options-
port{number} 必选，代理服务器端口 -
rule{object} 自定义规则模块 -
throttle{number} 限速值，单位kb/s，默认不限速 -
forceProxyHttps{boolean} 是否强制拦截所有的https，忽略规则模块的返回，默认false -
silent{boolean} 是否屏蔽所有console输出，默认false -
dangerouslyIgnoreUnauthorized{boolean} 是否忽略请求中的证书错误，默认false -
wsIntercept{boolean} 是否开启websocket代理，默认false -
webInterface{object} web版界面配置-
enable{boolean} 是否启用web版界面，默认false -
webPort{number} web版界面端口号，默认8002
-
-
-
Event:
ready- 代理服务器启动完成
- 示例
proxy.on('ready', function() { }) -
Event:
error- 代理服务器发生错误
- 示例
proxy.on('error', function() { }) -
Method:
start- 启动代理服务器
- 示例
proxy.start(); -
Method:
close- 关闭代理服务器
- 示例
proxy.close();
-
-
AnyProxy.utils.systemProxyMgr
- 管理系统的全局代理配置，方法调用时可能会弹出密码框
- 使用示例
// 配置127.0.0.1:8001为全局http代理服务器 AnyProxy.utils.systemProxyMgr.enableGlobalProxy('127.0.0.1', '8001'); // 关闭全局代理服务器 AnyProxy.utils.systemProxyMgr.disableGlobalProxy(); -
AnyProxy.utils.certMgr
- 管理AnyProxy的证书
-
AnyProxy.utils.certMgr.ifRootCAFileExists()- 校验系统内是否存在AnyProxy的根证书
-
AnyProxy.utils.certMgr.generateRootCA(callback)- 生成AnyProxy的rootCA，完成后请引导用户信任.crt文件
- 样例
const AnyProxy = require('AnyProxy'); const exec = require('child_process').exec; if (!AnyProxy.utils.certMgr.ifRootCAFileExists()) { AnyProxy.utils.certMgr.generateRootCA((error, keyPath) => { // let users to trust this CA before using proxy if (!error) { const certDir = require('path').dirname(keyPath); console.log('The cert is generated at', certDir); const isWin = /^win/.test(process.platform); if (isWin) { exec('start .', { cwd: certDir }); } else { exec('open .', { cwd: certDir }); } } else { console.error('error when generating rootCA', error); } }); }
代理HTTPS
- AnyProxy默认不对https请求做处理，如需看到明文信息，需要配置CA证书
解析https请求的原理是中间人攻击（man-in-the-middle），用户必须信任AnyProxy生成的CA证书，才能进行后续流程
- 生成证书并解析所有https请求
anyproxy-ca #生成rootCA证书，生成后需要手动信任
anyproxy --intercept #启动AnyProxy，并解析所有https请求
代理WebSocket
anyproxy --ws-intercept
当启用
HTTPS代理时，wss也会被代理，但是不会被AnyProxy记录。需要开启--ws-intercept后才会从界面上看到相应内容。
rule模块
AnyProxy提供了二次开发的能力，你可以用js编写自己的规则模块（rule），来自定义网络请求的处理逻辑。
注意：引用规则前，请务必确保文件来源可靠，以免发生安全问题
规则模块的能力范围包括：
- 拦截并修改正在发送的请求
- 可修改内容包括请求头（request header)，请求体（request body），甚至是请求的目标地址等
- 拦截并修改服务端响应
- 可修改的内容包括http状态码(status code)、响应头（response header）、响应内容等
- 拦截https请求，对内容做修改
- 本质是中间人攻击（man-in-the-middle attack），需要客户端提前信任AnyProxy生成的CA
开发示例
-
举例
- 需要编写一个规则模块，在 GET http://httpbin.org/user-agent 的返回值里加上测试信息，并延迟5秒返回
-
Step 1，编写规则
// file: sample.js module.exports = { summary: 'a rule to hack response', *beforeSendResponse(requestDetail, responseDetail) { if (requestDetail.url === 'http://httpbin.org/user-agent') { const newResponse = responseDetail.response; newResponse.body += '- AnyProxy Hacked!'; return new Promise((resolve, reject) => { setTimeout(() => { // delay resolve({ response: newResponse }); }, 5000); }); } }, }; -
Step 2, 启动AnyProxy，加载规则
- 运行
anyproxy --rule sample.js
- 运行
-
Step 3, 测试规则
-
用curl测试
curl http://httpbin.org/user-agent --proxy http://127.0.0.1:8001 用浏览器测试：配置浏览器http代理为 127.0.0.1:8001，访问 http://httpbin.org/user-agent
经过代理服务器后，期望的返回如下
{ "user-agent": "curl/7.43.0" } - AnyProxy Hacked! -
-
Step 4, 查看请求信息
- 浏览器访问http://127.0.0.1:8002 ，界面上能看到刚才的请求信息
处理流程
- 处理流程图如下
<img src="https://zos.alipayobjects.com/rmsportal/TWyNuSJtEZBdrdcOMRjE.png" width="550" />
-
当http请求经过代理服务器时，具体处理过程是：
- 收集请求所有请求参数，包括method, header, body等
- AnyProxy调用规则模块
beforeSendRequest方法，由模块做处理，返回新的请求参数，或返回响应内容 - 如果
beforeSendRequest返回了响应内容，则立即把此响应返回到客户端（而不再发送到真正的服务端），流程结束。 - 根据请求参数，向服务端发出请求，接收服务端响应。
- 调用规则模块
beforeSendResponse方法，由模块对响应内容进行处理 - 把响应信息返回给客户端
-
当代理服务器收到https请求时，AnyProxy可以替换证书，对请求做明文解析。
- 调用规则模块
beforeDealHttpsRequest方法，如果返回true，会明文解析这个请求，其他请求不处理 - 被明文解析后的https请求，处理流程同http一致。未明文解析请求不会再进入规则模块做处理。
- 调用规则模块
