1 分析
测试指标一般分为业务指标、资源指标、应用指标、前端指标。
业务指标:如并发用户数、TPS(系统每秒处理事务数)、成功率、响应时间。
资源指标:如CPU资源利用率、内存利用率、I/O、内核参数(信号量、打开文件数)等。
应用指标:如空闲线程数、数据库连接数、GC/FULL GC次数、函数耗时等。
前端指标:如页面加载时间、网络时间(DNS、连接时间、传输时间等)。
2 风险
不同用户对指标类型和期望值是不一样的,需要提前针对不同角色的人员进行指标调研、设定阈值,测试出系统在阈值下的性能,瓶颈定位及调优。若您未提前关注测试指标,将会导致测试结果不是相关人员需要的,结果是无效的。
3 规范
3.1 业务指标
业务响应时间(Response Time):这个指标所有相关人员都明白其含义,业务部门更需要此指标的具体值,一般情况下,不同系统的业务响应时间期望值是不同的,建议1秒以内。像淘宝系统业务RT基本在几十毫秒以内。
业务处理能力(Transaction Per Second):具体指标为TPS/RPS(Transaction Per Second / Requests Per Second,即系统每秒处理事务数),这个指标是衡量系统的处理能力的一个非常重要的指标。TPS可以参照同行业系统和结合具体业务,中小企业TPS值为50~1000笔/秒,银行TPS值为1000~50000笔/秒,淘宝TPS值为30000~300000笔/秒。
成功率:这个指标是衡量系统处于压力下,业务的成功率,一般业界成功率要大于99.6%。
3.2 资源指标
一般情况下,系统资源指标也不能超过瓶颈值,例如CPU资源利用率≤75%,内存无SWAP,磁盘和网络I/O不能自动处理。理想的情况下,当系统压力上不去的时候,资源成为瓶颈(正常情况下,非其他瓶颈情况下导致),这样的话加资源,系统处理能力还会上升的,但是遗憾的是,很多系统性能测试资源都没达到瓶颈的时候,压力就上不去了。
业务模型