性能测试之场景设计和结果判断

性能测试目的

简单来说:在复杂多变情况下,保证系统稳定

百度百科说:

  1. 评估系统的能力,测试中得到的负荷和响应时间数据可以被用于验证所计划的模型的能力,并帮助作出决策。
  2. 识别体系中的弱点:受控的负荷可以被增加到一个极端的水平,并突破它,从而修复体系的瓶颈或薄弱的地方。
  3. 系统调优:重复运行测试,验证调整系统的活动得到了预期的结果,从而改进性能。
    检测软件中的问题:长时间的测试执行可导致程序发生由于内存泄露引起的失败,揭示程序中的隐含的问题或冲突。
  4. 验证稳定性(resilience)可靠性(reliability):在一个生产负荷下执行测试一定的时间是评估系统稳定性和可靠性是否满足要求的唯一方法。

性能测试方案关键点

  1. 业务系统分析:根据业务和系统运维实际情况,分析TPS的时间分布图、HPS/PV的时间分布图
    <center>
    <div style="color:orange; border-bottom: 1px solid #d9d9d9;
    display: inline-block;
    color: #999;
    padding: 1px;">ELK获取TPS时间分布</div>
    </center>
  1. 场景设计:根据实际的数据容量,业务类型比例,业务时段,业务量来综合设计性能测试场景。举例来说,某APP在12点-14点是交易峰值,占用全天交易的80%,那可以抽取这个时间段内的业务类型比例,产生的比例是,登录:加入购物车:交易:查询订单=10:3:1:6,那在做性能测试场景设计的时候可以采用这一比例进行测试。
  2. 监控模型建立:

服务器监控

数据库监控

Docker监控

JVM监控Grafana

JVM监控VisualVM

  1. 性能问题分析和调优:

数据库问题分析

堆内存泄漏排查

死锁问题排查

JVM分析

Arthas调优工具

性能测试通过标准

超时概率:小于0.5‰
错误概率:小于0.5‰
TPS:大于期望高峰值
CPU利用率:小于75%
响应时间:小于期望时间
Load负载:平均没核CPU的Load小于1
JVM内存使用率:小于80%
FullGC频率:平均大于半小时1次

性能测试结果图识别

TPS和响应时间曲线抖动不能过于强烈,具备一定梯度,整体趋势应该是趋近与平稳


如下图在线程数增加的时候,TPS一个比较正常的图示,持续增加后,在13000TPS的位置趋近平稳,有一定梯度



如下TPS和响应时间的图例,可以用作正常类参考



如下图在线程数增加的时候,响应时间在1s一下缓慢增涨,当TPS到达高点13000以后,随时线程持续增加,响应时间增速加剧

不太合理的TPS图

波动幅度剧烈,找不到TPS的稳定峰值,不利于问题分析,性能测试结果不准确

梯度不明显,可以考虑增加Ramp-up,让TPS增幅变缓,否则响应时间的图也不会出现稳定期,较难做出峰值判断

TPS在某些点有突然下降,需要做出排查


公号:大道测试

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,907评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,987评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,298评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,586评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,633评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,488评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,275评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,176评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,619评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,819评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,932评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,655评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,265评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,871评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,994评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,095评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,884评论 2 354