凯尔后端项目结构

项目地址

凯尔后端:https://github.com/Mrshenxh/Kayle

项目技术选型

项目后端技术选型为python Flask框架,主要特点小而轻,原生组件几乎为0,契合项目限制为企业内部使用的初衷。

优点如下:

简单,Flask的路由以及路由函数由修饰器设定,开发人员不需要借助其他文件匹配;

配置灵活,有多种方法配置,不同环境的配置也非常方便;环境部署简单,Flask运行不需要借助其他任何软件,只需要安装了Python的IDE,在命令行运行即可。只需要在Python中导入相应包即可满足所有需求;

入门简单,通过官方指南便可以清楚的了解Flask的运行流程;

低耦合,Flask可以兼容多种数据库、模板。

项目结构


app/config:项目配置文件夹,包含以下重要内容:

1、mysql相关信息(地址,端口,用户名和密码)

2、DB(集成flask_sqlalchemy和mysql更方便的交互)

3、celery配置信息(URL,BACKEND)

4、SECRET_KEY(加密使用)

5、user_socket_dict(自定义一个全局socket dict,存储用户和mitmproxy上传socket)

app/logs:项目log文件位置,包括celery日志,gunicorn日志,后续接入logging

app/models:应用model层,包括用户,计划,核心接口等model

app/statics:静态文件存储地址

app/templates:html模版存储地址,因为项目为前后端分离,所以暂时没用到

app/utils:公共方法存储地,后续优化扩展

app/views:应用view层,基于蓝图实现route引入

app/__init__.py:应用初始化文件,初始化重要组件,如app,MCelery,flask_login回调函数等

venv:python虚拟环境,进入虚拟环境命令:source venv/bin/active

gunicorn.conf.py:gunicorn配置文件,关于gunicorn请参考项目部署

qa_tools_be.py:基于geventwebsocket的执行启动文件

requirement.txt:python资源文件。通过 pip install -r requirements.txt 拉取项目依赖的python第三方;通过 pip freeze > requirements.txt生成项目本地资源列表文件。

业务结构

根据上面的项目结构可以了解到,项目的主要业务模块主要在model层以及view层。下面针对这两个模块的对应业务表和接口再做具体介绍。

model层:

history_plan_model:

历史计划模型,对应history_plan_list 数据库表。可根据ID查找相关数据。

temp_interface_model:

CoreInterface:核心接口模型,对应core_interface_list 数据库表。可根据 interface_id 查找相关数据。

TempUserPort:临时端口模型,对应 temp_mitmproxy_list 数据库表。可根据user_id,port和mitm_id查找相关数据

user_model:

用户模型,对应user_list 数据库表。可根据user_id查找相关数据。

view层:

user:

user/login:登录

user/register: 注册

user/message: 查询用户详细信息

user/checklogin: 校验是否处于登录状态

user/logout: 退出登录

tempinter:

tempinter/queryportmsg: 根据port查询 temp_mitmproxy_list数据库表内对应的数据(不校验登录状态)

tempinter/queryusersocket: 查询当前用户是否有已经使用的mitmproxy代理

tempinter/uploadcoreinter: 核心接口上传

tempinter/createmitm: 创建mitmproxy代理

tempinter/stopmitm: 关闭mitmproxy代理

tempinter/tempsocket/flow/<usermessage>: websocket数据流传输

tempinter/getcoreinter: 分页下发核心接口

tempinter/searchcore: 根据interface_id查询接口详细信息

tempinter/deletecore: 根据interface_id删除核心接口

tempinter/editcore: 二次编辑核心接口

plan:

plan/createplan: 计划创建

plan/stopplan: 关闭计划

plan/queryplan: 计划创建成功后,查询计划

plan/queryplancore: 计划创建成功后,查询计划模块对应的核心接口

plan/historyplan: 历史计划列表

plan/deletehistoryplan: 删除某个历史计划

plan/historyplan/<id>: 查看某个历史计划的详细数据

operator:

operator/scanplan: 触发扫描计划是否结束场景

operator/scanmitm: 触发扫描mitmproxy代理

其他

项目环境基于python3;

创建计划,会将task推送到celery任务队列中。可以通过plan/queryplan 查看task执行情况,也可以在redis上根据键值对查询;

进行中计划的数据,存储在redis中。对应hash为“plan_core”,具体逻辑可参考app/utils/redis_operat.py 文件;

关于mitmproxy

mitmproxy是一款类似于Charles的代理工具,官网参考:https://www.mitmproxy.org/

启动mitmproxy,用mitmproxy、mitmdump、mitmweb都可以,区别如下:

mitmproxy 命令启动后,会提供一个命令行界面,用户可以实时看到发生的请求,并通过命令过滤请求,查看请求数据;

mitmweb 命令启动后,会提供一个 web 界面,用户可以实时看到发生的请求,并通过 GUI 交互来过滤请求,查看请求数据;

mitmdump 命令启动后,没有界面,程序默默运行,所以 mitmdump 无法提供过滤请求、查看数据的功能,只能结合自定义脚本,默默工作;

这里我们操作mitmdump进行代理创建,执行命令为:mitmdump -s kayle_be/app/utils/get_mitm_request.py -p {端口号}

服务器mitmproxy证书安装:

在服务器上,我们也要安装mitmproxy对应证书:

cd ~/.mitmproxy

# 证书格式转换

openssl x509 -in mitmproxy-ca-cert.pem -inform PEM -out mitmproxy-ca-cert.crt

sudo mkdir /usr/share/ca-certificates/extrasudo cpmitmproxy-ca-cert.crt/usr/share/ca-certificates/extra/mitmproxy-ca-cert.crt

# 无交互模式

sudo update-ca-certificates

脚本执行原理:

在执行命令中,我们指定了端口和脚本,那么每次有接口数据流转过来时,都会执行一遍get_mitm_request.py脚本,在脚本中,我们收集了接口请求和返回的数据,并把这些数据打给websocket接口,由websocket接口传递给current_user前端


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容