项目地址
凯尔后端:https://github.com/Mrshenxh/Kayle
项目技术选型
项目后端技术选型为python Flask框架,主要特点小而轻,原生组件几乎为0,契合项目限制为企业内部使用的初衷。
优点如下:
简单,Flask的路由以及路由函数由修饰器设定,开发人员不需要借助其他文件匹配;
配置灵活,有多种方法配置,不同环境的配置也非常方便;环境部署简单,Flask运行不需要借助其他任何软件,只需要安装了Python的IDE,在命令行运行即可。只需要在Python中导入相应包即可满足所有需求;
入门简单,通过官方指南便可以清楚的了解Flask的运行流程;
低耦合,Flask可以兼容多种数据库、模板。
项目结构
app/config:项目配置文件夹,包含以下重要内容:
1、mysql相关信息(地址,端口,用户名和密码)
2、DB(集成flask_sqlalchemy和mysql更方便的交互)
3、celery配置信息(URL,BACKEND)
4、SECRET_KEY(加密使用)
5、user_socket_dict(自定义一个全局socket dict,存储用户和mitmproxy上传socket)
app/logs:项目log文件位置,包括celery日志,gunicorn日志,后续接入logging
app/models:应用model层,包括用户,计划,核心接口等model
app/statics:静态文件存储地址
app/templates:html模版存储地址,因为项目为前后端分离,所以暂时没用到
app/utils:公共方法存储地,后续优化扩展
app/views:应用view层,基于蓝图实现route引入
app/__init__.py:应用初始化文件,初始化重要组件,如app,MCelery,flask_login回调函数等
venv:python虚拟环境,进入虚拟环境命令:source venv/bin/active
gunicorn.conf.py:gunicorn配置文件,关于gunicorn请参考项目部署
qa_tools_be.py:基于geventwebsocket的执行启动文件
requirement.txt:python资源文件。通过 pip install -r requirements.txt 拉取项目依赖的python第三方;通过 pip freeze > requirements.txt生成项目本地资源列表文件。
业务结构
根据上面的项目结构可以了解到,项目的主要业务模块主要在model层以及view层。下面针对这两个模块的对应业务表和接口再做具体介绍。
model层:
history_plan_model:
历史计划模型,对应history_plan_list 数据库表。可根据ID查找相关数据。
temp_interface_model:
CoreInterface:核心接口模型,对应core_interface_list 数据库表。可根据 interface_id 查找相关数据。
TempUserPort:临时端口模型,对应 temp_mitmproxy_list 数据库表。可根据user_id,port和mitm_id查找相关数据
user_model:
用户模型,对应user_list 数据库表。可根据user_id查找相关数据。
view层:
user:
user/login:登录
user/register: 注册
user/message: 查询用户详细信息
user/checklogin: 校验是否处于登录状态
user/logout: 退出登录
tempinter:
tempinter/queryportmsg: 根据port查询 temp_mitmproxy_list数据库表内对应的数据(不校验登录状态)
tempinter/queryusersocket: 查询当前用户是否有已经使用的mitmproxy代理
tempinter/uploadcoreinter: 核心接口上传
tempinter/createmitm: 创建mitmproxy代理
tempinter/stopmitm: 关闭mitmproxy代理
tempinter/tempsocket/flow/<usermessage>: websocket数据流传输
tempinter/getcoreinter: 分页下发核心接口
tempinter/searchcore: 根据interface_id查询接口详细信息
tempinter/deletecore: 根据interface_id删除核心接口
tempinter/editcore: 二次编辑核心接口
plan:
plan/createplan: 计划创建
plan/stopplan: 关闭计划
plan/queryplan: 计划创建成功后,查询计划
plan/queryplancore: 计划创建成功后,查询计划模块对应的核心接口
plan/historyplan: 历史计划列表
plan/deletehistoryplan: 删除某个历史计划
plan/historyplan/<id>: 查看某个历史计划的详细数据
operator:
operator/scanplan: 触发扫描计划是否结束场景
operator/scanmitm: 触发扫描mitmproxy代理
其他
项目环境基于python3;
创建计划,会将task推送到celery任务队列中。可以通过plan/queryplan 查看task执行情况,也可以在redis上根据键值对查询;
进行中计划的数据,存储在redis中。对应hash为“plan_core”,具体逻辑可参考app/utils/redis_operat.py 文件;
关于mitmproxy
mitmproxy是一款类似于Charles的代理工具,官网参考:https://www.mitmproxy.org/。
启动mitmproxy,用mitmproxy、mitmdump、mitmweb都可以,区别如下:
mitmproxy 命令启动后,会提供一个命令行界面,用户可以实时看到发生的请求,并通过命令过滤请求,查看请求数据;
mitmweb 命令启动后,会提供一个 web 界面,用户可以实时看到发生的请求,并通过 GUI 交互来过滤请求,查看请求数据;
mitmdump 命令启动后,没有界面,程序默默运行,所以 mitmdump 无法提供过滤请求、查看数据的功能,只能结合自定义脚本,默默工作;
这里我们操作mitmdump进行代理创建,执行命令为:mitmdump -s kayle_be/app/utils/get_mitm_request.py -p {端口号}
服务器mitmproxy证书安装:
在服务器上,我们也要安装mitmproxy对应证书:
cd ~/.mitmproxy
# 证书格式转换
openssl x509 -in mitmproxy-ca-cert.pem -inform PEM -out mitmproxy-ca-cert.crt
sudo mkdir /usr/share/ca-certificates/extrasudo cpmitmproxy-ca-cert.crt/usr/share/ca-certificates/extra/mitmproxy-ca-cert.crt
# 无交互模式
sudo update-ca-certificates
脚本执行原理:
在执行命令中,我们指定了端口和脚本,那么每次有接口数据流转过来时,都会执行一遍get_mitm_request.py脚本,在脚本中,我们收集了接口请求和返回的数据,并把这些数据打给websocket接口,由websocket接口传递给current_user前端