构建自动化性能测试系统的实践

系统的性能和性能测试,是一个大家都知道其重要性却往往容易忽略的事。为什么说容易忽略呢?很多系统,做性能测试的时间要么只在最初上线时,要么在重要的系统重构时。而日常的迭代更新、交易量的变化,不知谁才是压倒系统的最后一根稻草。所以只要系统不下线,性能测试也只有进行时。基于这样一个出发点,我们构建了一个自动化性能测试系统,以便关注系统性能的变化。下面介绍一下在工作中的实践。

1 需要完成什么

自动化构建更新系统、测试、收集分析数据、发送报告。

需要进行三类测试:并发测试、压力测试、负载测试。

需要得到指标:请求成功比例、tps、交易成功率、响应时间的均值和异常值比例、服务器的CPU和内存使用率。

处理“自动化”之外,还需要“简单性”——可以不需要投入太多的人力进行开发,使用现成满足需求的工具;“即时性”——新版本上线前后就能得到反馈。

2 方案

2.1 测试过程

使用jenkins进行系统部署、触发测试、触发分析、发送报告。

第一步,设置jenkins定时,取每周的主干进行部署。

第二步,jenkins触发测试工具执行测试。

第三步,jenkins触发分析脚本,形成报告发送邮件。

2.2 工具

1)构建和触发直接使用jenkins,设置定时,创建Job及Job之间的流程关系即可。

2)测试工具,在《自动化测试设计分享 》一文中,提到过的测试工具tell,使用go的chan特性,很容易改写为提供并发测试的工具。java中的testNG也是如此,当然你也可以使用你熟悉的工具。

3)分析脚本,一个是对tell的日志进行分析,一个是对数据库的交易记录进行分析,得到请求成功比例、tps、交易成功率、响应时间的均值和异常值比例。

4)最后jenkins自动把分析的结果邮件给你即可。而服务器的CPU和内存使用率直接使用阿里云的监控,需要到阿里云后台查看。这里的不便,可以在阿里云上设置报警阈值和通知。当收到服务器报警时进行查看即可。

1-4的测试过程可以用下图表示:

测试过程


5)对于我们需要完成并发测试、压力测试、负载测试这三类测试,需要设置三个不同的流程,执行不同的测试用例。jenkins流程如下图所示:

三类测试的流程

2.4 定时执行

目前周四发布新版本,并发测试会在周四上线前,合并代码后进行,测试通过后进行上线。周五进行压力测试,周六至周一每天进行8小时的负载测试。

2.5 补充

交易模型:针对线上每周的交易数据变化,需要更新压力和负载的交易模型。

数据库量级:根据业务的运营阶段,不知道商户什么时候会突然放量,所以数据库保持在比线上数据库多50%的量。

服务器配置:尽量和生产一致。在目前的实践中,测试服务器的配置和生产的配置完全一致,在应对需要紧急增加服务器时,会直接使用测试服务器。

谢谢


有不足之处,欢迎指正,共同学习。

多谢

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,919评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,567评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,316评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,294评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,318评论 6 390
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,245评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,120评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,964评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,376评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,592评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,764评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,460评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,070评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,697评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,846评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,819评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,665评论 2 354

推荐阅读更多精彩内容