简介：基准测试（benchmark）是针对系统设计的一种压力测试，通常为了掌握系统的行为，或重现某个系统状态，或做新硬件的可靠性测试
测试工具：sysbench
为什么要基准测试
基准测试时唯一方便有效的、可以学习系统在给定的工作负载下会发生什么的方法。基准测试可以在系统实际负载之外创造一些虚构的场景进行测试
- 验证基于系统的假设，确定假设是否符合实际情况
- 重现系统中的某些异常行为，以解决这些异常
- 测试系统当前的运行情况
- 模拟比当前系统更高的负载
- 规划未来业务的增长
- 测试应用适应可变华景的能力
- 测试不同的硬件、软件和操作系统的配置
- 证明新采购的设备是否配置正确
- 应用创建单元测试套件
基准测试策略
有两种主要的策略：1.针对整个系统的整体测试（集成式（full-stack））；2.单独测试Mysql（单租件式（single-component））
集成式：
- 测试整个应用系统，包括web服务器，应用代码整体性能等
- Mysql并非总是应用的瓶颈
- 只有针对整体测试，才能发现各部分之间的缓存带来的影响
- 整体应用的测试能更真实的揭露系统的表示
单组件式：
- 需要比较不同的schema或查询的性能
- 针对应用的某个问题的测试
- 避免漫长的基准测试
测试指标
吞吐量
吞吐量指的是单位时间内的事物处理数量，经典的数据库应用测试指标，测试单位 每秒事物数（TPS） 每分事物数（TPM）
响应时间或延迟
这个指标测试任务所需的整体时间，通畅使用百分比时间来替代最大响应时间。测试结果使用图表表示更容易理解
并发性
应该测试在任意时间有多少同时发生的并发请求，而非在线数
可扩展性
可扩展性帮助发现当前系统的瓶颈
指标测试应当遵循实际业务情况，而非只关心某几种指标的性能
基准测试方法
1设计和规划基准测试
a.标准的基准测试 b.设计专业的测试
- 测试时应当详细的写下测试规划，记录测试数据、系统配置的步骤，如何测量和分析结果，以及预热的方案等。
- 建立将参数和结果文档化的规范，每一轮测试都必须进行详细记录
2获取系统的性能和状态
执行基准测试时需要尽可能多收集被测试系统的信息。最好为基准测试建立一个目录，并且没执行一轮测试都创建单独的子目录，将测试结果、配置文件、测试指标、脚本和其他相关说明多保存在其中。
- 可以采取脚本方式定时获取系统状态并记录
基准测试工具
集成式测试工具
ab
ab是Apache HTTP服务器基准测试工具，可以测试http服务器每秒多少请求，只能针对单个URL进行尽可能快的压力测试
http_load
和ab类似，比ab灵活，可以通过一个输入文件提供多个url，load在这些url中随机算则进行测试，也可以定制http_load，使其按照时间比率进行测试
| 参数 | 含义 |
|---|---|
| -parallel 简写-p | 含义是并发的用户进程数。 |
| -fetches 简写-f | 含义是总计的访问次数 |
| -rate 简写-p | 含义是每秒的访问频率 |
| -seconds简写-s | 含义是总计的访问时间 |
举个栗子：http_load -p 20 -s 10 urls.txt
返回结果：
500 fetches, 20 max parallel, 92500 bytes, in 10 seconds
185 mean bytes/connection
50 fetches/sec, 9250 bytes/sec
msecs/connect: 193.104 mean, 233.949 max, 184.651 min
msecs/first-response: 194.718 mean, 211.365 max, 186.773 min HTTP response codes:
code 200 -- 49
结果说明
1.500 fetches, 20 max parallel, 92500 bytes, in 10 seconds
说明在上面的测试中运行了49个请求，最大的并发进程数是2，总计传输的数据是92500 bytes，运行的时间是10.0148秒
2．185 mean bytes/connection
说明每一连接平均传输的数据量92500/500=185
3．50 fetches/sec, 9250 bytes/sec
说明每秒的响应请求为50，每秒传递的数据为9250 bytes/sec
4．msecs/connect: 193.104 mean, 233.949 max, 184.651 min
说明每连接的平均响应时间是93.104 msecs，最大的响应时间233.949 msecs，最小的响应时间184.651 msecs
5．msecs/first-response:194.718 mean, 211.365 max, 186.773 min
6、HTTP response codes: code 200 -- 49
说明打开响应页面的类型，如果403的类型过多，那可能要注意是否系统遇到了瓶颈。
特殊说明：这里，我们一般会关注到的指标是fetches/sec、msecs/connect
他们分别对应的常用性能指标参数
Qpt-每秒响应用户数和response time，每连接响应用户时间。
测试的结果主要也是看这两个值。当然仅有这两个指标并不能完成对性能的分析，我们还需要对服务器的cpu、men进行分析，才能得出结论
JMeter
JMeter是一个java应用程序，可以加载其他应用并测试其性能，可测试web应用，ftp服务器或JDBC数据库查询测试等。
- 可以控制预热时间
- 更加灵活的模拟真实用户访问
- 拥有绘图接口
- 能够对测试进行记录
- 离线重演测试结果
单组件式测试工具
mysqlslap
可模拟服务器负载，并输出计时信息，在Mysql发行包中，测试时可以执行并发连接数，并制定sql语句
Mysql Benchmark Suite（sql-bench）
用于不同数据库服务器上进行比较测试，单线程，主要用于测试服务器的查询速度。结果会显示那种类型的操作在服务器上执行更快。缺陷较多
Super Smack
基于Mysql和PostgreSQL的基准测试工具，可以提供压力测试和负载生成。可以模拟多用户访问、加载测试数据到数据库，并支持使用随机数据填充测试表，测试定义在“smack”文件中，它使用一种加单的语法定义测试的客户端、表、查询等测试要素。
Database Test Suite
偏工业标准的测试工具集
sysbench
多线程系统压测工具，它可以根据影响数据库服务器性能的各种因素来评估系统的性能。支持Mysql、操作系统和硬件的测试
- 测试文件I/O
- 测试操作系统调度器
- 测试内存分配、传输速度
- 测试POSIX线程
- 测试数据库服务等
