1.性能测试怎么做的?
参考答案:
比如,我这个xxx项目的性能测试是这样做的:
1.做性能需求分析,挑选了用户使用最频繁的功能来做性能测试,比如:登陆,打开系统首页,搜索,提交订单,确定性能指标,比如:事务通过率为100%,90%的事务响应时间不超过3秒,CPU和内存的使用率为70%以下(*)
2.搭建性能测试环境,准备好性能测试数据。(*)(PS:性能测试数据,包括基础数据和使用数据,如果我们要测试系统半年内是否能稳定提供服务,就要在估算一下半年内,系统会有多少数据,然后在数据库上导入对应量的数据,这叫基础数据;使用数据,就是我们测试过程中需要用到的参数化的数据)
3.使用badboy工具,录制脚本,并优化,包括:参数化,断言,关联等。
4.设计性能测试场景,我们这个项目做了单用户单功能循环200次的基准测试,1200,1600, 2000个用户,执行15分钟的压力测试,以此来确定我们系统最佳的并发量设置,并找到系统瓶颈;
5、我们搭建了分布式压力测试环境进行测试,每台压力机并发300个用户,并监控linux服务器的CPU,内存,IO。
6.分析性能测试结果,如果有问题(性能瓶颈),收集相关的日志提单给开发修改(*)
7.开发修改好后,回归性能测试(*)
8.编写性能测试报告(*)
面:你们的并发用户数是怎么来的
我:我们会先把系统上线一段时间,根据用户的访问数据来评估,有时候也是根据需求来的,客户要求做多少个并发,我们就做多少个
面:你们性能测试是什么时候做的
我:在功能测试之后,系统比较稳定的时候
2.如何确定系统能够承载的最大用户数?
参考答案:通过负载测试,不断增加用户数,随着用户数的增加,各项性能指标也会相应产生变化,当出现了性能拐点,比如,当用户数达到某个数量级时,响应时间突然增长,那么这个拐点处对应的用户数就是系统能承载的最大用户数。
3.你们系统哪些地方(哪些功能)做了性能测试?
参考答案:我们选用了用户使用最频繁的功能来做性能测试,比如:登陆,搜索,提交订单。
4.你们的并发用户数是怎么确定的?
参考答案:
1)、这种电商(面向互联网用户)的系统,我们是会先上线一段时间,根据收集到的用户访问数据进行预估的。
2)、从需求来的。
5.你们性能测试在哪里做的?
参考答案:我们会搭建一套独立的性能测试环境进行测试。
6.你们性能测试什么时间做?
参考答案:功能测试之后,系统比较稳定的时候再做。
***********************************************
7.怎样分析性能测试结果?
参考答案:
思路:查看聚合报告和服务器的资源使用图,检查响应时间,事务成功率,CPU,内存和IO使用率是否达到要求,如果出错率达到了总请求数的3%,我们会检查是什么原因导致的,修改好后,重新测试;如果出现了性能瓶颈,比如响应时间,或者CPU使用率不达标,我们会从服务器上导出日志,分析是哪个地方导致响应时间过长,如果分析不出来,就叫上开发一起讨论,确定问题后,就提单给开发修复,修复好了就进行回归测试。
在确定性能测试结果可信后,如果发现以下问题,就按下面提供的思路来定位问题:
问题一:响应时间不达标
分析思路:添加“网页细分图”,选中要细分的事务,选择”第一次缓冲时间”,查看事务所消耗的时间主要在网络传输还是服务器,如果是网络,就结合Throughput(网络吞吐量)图,计算带宽是否存在瓶颈,如果存在瓶颈,就要考虑增加带宽,或对数据的传输进行压缩处理;如果不存在瓶颈,那么,可能是网路不稳定导致。如果主要时间是消耗在服务器上,就要分别查看web服务器和数据库服务器的CPU,内存的使用率是否过高,因为过高的CPU,内存必定会造成响应时间过长,如果是web服务器的问题,就把web服务器对应上对应的用户操作日志取下来,发给开发定位;如果是数据库的问题,就把数据库服务器对应上对应的日志取下来,发给开发定位。
--------- 遇到下面这些问题,都可以说:把服务器对应的日志取下来发给开发定位
问题二:web服务器CPU超过性能测试指标
分析思路:就把web服务器对应上对应的用户操作日志取下来,发给开发定位。
问题三:数据库CPU超过性能测试指标
分析思路:把数据库服务器对应上对应的日志取下来,发给开发定位。
问题四:内存泄漏
分析思路:把内存的heap数据取下来,在用MAT工具分析是哪个对象消耗内存最多,然后发给开发定位。
问题五:程序在单用户场景下运行成功,多用户运行则失败,提示连不上服务器。
原因:程序没有做多线程处理。
问题六:程序实现的功能是,随机给用户分配不同的任务,单用户运行时,能成功分配;多用户并发申请任务时,所有用户得到的任务都是一样的。
原因:程序存在线程同步的问题。
***********************************************
8.如果性能测试脚本出现错误,会从哪些方面分析呢?
参考答案:通过检查回放日志,定位出错的位置,然后做响应的修改。回放脚本时脚本出错,一般有两种原因,第一、语法出错,比如,不小心多打了个符合;第二、关联的左右边界没设置对,导致关联失败;如果在运行场景的时候,提示脚本出错,一般就是参数化列表最后一行没有回车,或者,回车大于一个,或者,参数值不够用。
9.如何判断系统的性能是变好了还是变坏了
参考答案:做回归测试时,看系统的TPS是不是增加了。
10.你们的性能测试需求哪里来的?
参考答案:我们的需求文档上有的,不过有时候不太合理,我们可能需要和BA进行讨论。比如,我之前做了一个公司内部用的OA系统的性能测试时,要求并发用户200人,我们整个公司都没有100人,很明显,做200人并发是没有必要的,后来,我们只做了50人并发。
11.如何实现200用户的并发?
参考答案:先在脚本对应的请求前面添加集合点,再在controller中将集合点的释放策略设置为等到200人到达集合点的时候在释放。
12.什么情况下要做关联,关联是怎么做的?
参考答案:当发给服务器的请求数据需要依赖另一个请求返回的数据,就用关联。
10.有验证码的功能,怎么做性能测试?
参考答案:
1)、将验证码暂时屏蔽,完成性能测试后,再恢复。注意:屏蔽验证码是不会给性能测试的结果带来影响的。
2)、使用一个万能的验证码。
16、你们性能测试做的是前台还是后台?
参考答案:
BS的项目:我们这个项目做的是后台服务器的性能,浏览器端不做性能测试;
APP的项目:手机端和服务器端的性能都做,手机端我们是用monkey(或者 AppPerformace)来做,服务器端,我们是用Jmeter来做的
17、性能测试指标有哪些?
平均事务响应时间,90%的事务响应时间,TPS,CPU、内存和IO使用率