这是一遍关于性能测试的,我结合了我以前的工作经验同时还学习了极客时间上高楼老师的《性能测试30讲》,以及前段时间公司组织的分享,现将之前的总结梳理成文档。
概念
分类
服务端性能测试
web端性能测试
移动端、PC端性能测试
性能测试针对系统的性能指标,建立性能测试模型,制定性能测试方案,制定监控策略,在场景条件之下执行性能场景,分析判断性能瓶颈并调优,最终得出性能结果来评估系统的性能指标是否满足既定值。
指标
时间指标
响应时间、平均响应时间、中位数响应时间
容量指标
TPS 反应出来的是和服务器对应的处理能力,至少压力线程数是多少,并不关键。
请求错误数据占比
并发数
资源利用率指标
系统资源:内存、CPU、
数据库服务器 CPU、内存、IO繁忙程度、数据库监控
操作系统、应用服务器、中间件、队列、缓存、数据库、网络、前端、负载均衡、Web 服务器、存储、代码
性能指标、性能模型、性能场景、性能监控、性能实施、性能报告
性能测试场景分类
基准场景
每个业务都压到最大的TPS
容量场景
所有业务按照一定比例组合的场景
稳定性场景
长时间
异常场景
(破坏性测试)按照实际架构部署而定
宕主机、网卡、容器、缓存、队列、熔断、流控
性能测试流程
需求分析
架构设计
网络拓扑
模块调用
资源消耗类型
预期的业务指标、性能指标
方案设计
确定性能指标
资源指标
CPU、内存、IO、带宽
产品指标
TPS、成功率、响应率、响应时间、并发用户数
考量因素
环境部署、压测工具、压测数据、监控指标
方案执行
线上压测可采用影子表的方式
性能优化
网络问题
LVS问题?
跨机房调用?
通信协议
发送数据方式
视频类带宽瓶颈
内存问题
内存泄露?
缓存命中率低?
物理内存不足
CPU问题
死锁
算法是否复杂
IO问题
磁盘IO高
数据库频繁变更
频繁刷日志
网络IO高
应用协议优化、字节压缩
依赖外部接口性能较差
接口调用方式由同步转化为异步(按业务情况)
资源指标未耗尽但是性能上不去
服务线程数不足
连接数不足
缓存命中率低,应用队列溢出
检查锁的范围
性能测试能力分布图
工具使用
压力工具
监控工具
剖析工具
调优工具
数值理解
工具输出字段值
分析
趋势分析
相关性分析
证据链分析
调优
1 检查RT 客户端响应时间
2 检查TPS TPS大时RT小, 说明性能良好
3 检查负载机资源消耗 检查CPU使用率
4 检查被压服务器的资源消耗 CPU、内存、磁盘IO、带宽、响应时间
5 检查中间件配置 确定是否有配置参数问题
6 数据库服务器 CPU、内存、IO繁忙程度、数据库监控。
性能分析思路
瓶颈的精确判断
通过TPS曲线,系统性能瓶颈与压力有没有关系
TPS 判断业务容量、响应时间判断业务处理速度
线程递增策略
对一个系统来说,如果仅在改变压力策略(其他的条件比如环境、数据、软硬件配置等都不变)的情况下,系统的最大 TPS 上限是固定的。
性能衰减的过程
只要每线程每秒的 TPS 开始变少,就意味着性能瓶颈已经出现了。但是瓶颈出现之后,并不是说服务器的处理能力(这里我们用 TPS 来描述)会下降,应该说 TPS 仍然会上升,在性能不断衰减的过程中,TPS 就会达到上限。
响应时间的拆分
构建分析决策树
对架构的梳理,是对系统的梳理,是对问题的梳理,是对查找证据链过程的梳理,是对分析思路的梳理。它起的是纵观全局,高屋建瓴的指导作用。
场景的对比
参数化:
用户自定义的变量
CSV数据文件设置
JDBC request压测数据库
性能测试监控工具
操作系统、应用服务器、中间件、队列、缓存、数据库、网络、前端、负载均衡、Web 服务器、存储、代码
Grafana+Prometheus+Exporters
常用命令汇总
网络
iptables
netstat
查看句柄数限制:cat /proc/sys/fs/file-max
查看进程打开的句柄: ls -al /proc/进程号/fd
查看iptables告警日志:tail /var/log/messages
查看TCP配置:/sbin/sysctl -a
查看进程数句柄限制:ulimit -n
修改tcp和iptables参数:vim /etc/sysctl.conf
在执行:/sbin/sysctl -p
查看网络连接:netstat -ant
IO
top
vmstat
查看磁盘IO性能: iostat -x 1
系统性能分析命令: sar
cpu
top
cat /proc/cpuinfo
mpstat:单核处理器统计值
vmstat
内存
vmstat
free
top
cat /proc/{pid}/status
cat /proc/meminfo