【轻知识】sysbench压测

下面内容主要借鉴同事的wiki。经过他允许我就贴了。
insert 放后面，前面的查询跟更新。都是同量的数据。

建库

mysql -h110.xx.xx.10 -udb_user -pdb_pw-P3306

压测

准备数据

sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua \
--mysql-host=host  \
--mysql-port=3306 \
--mysql-user=db_user \
--mysql-password=db_pw \
--mysql-db=dbtest \
--oltp-tables-count=32 \
--oltp-table-size=200000 \
--oltp-dist-type=uniform \
--oltp-read-only=off \
--oltp-test-mode=complex \
--rand-init=on \
--db-driver=mysql \
--report-interval=10 \
--threads=1000 \
--time=120 \
prepare

oltp压测

线程开多了就崩了。会出现Lost connection to MySQL server during query

sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua \
--mysql-host=110.xx.xx.10  \
--mysql-port=3306 \
--mysql-user=db_user \
--mysql-password=db_pw \
--mysql-db=dbtest \
--oltp-tables-count=32 \
--oltp-table-size=200000 \
--oltp-dist-type=uniform \
--oltp-read-only=off \
--oltp-test-mode=complex \
--rand-init=on \
--db-driver=mysql \
--report-interval=10 \
--threads=1000 \
--time=120 \
run >> ./mysysbench.log

select

sysbench /usr/share/sysbench/tests/include/oltp_legacy/select.lua \
--mysql-host=110.xx.xx.10  \
--mysql-port=3306 \
--mysql-user=db_user \
--mysql-password=db_pw \
--mysql-db=dbtest \
--oltp-tables-count=32 \
--oltp-table-size=200000 \
--oltp-dist-type=uniform \
--oltp-read-only=off \
--oltp-test-mode=complex \
--rand-init=on \
--db-driver=mysql \
--report-interval=10 \
--threads=1000 \
--time=120 \
run >> ./oltp_select.log

select_random_points

sysbench /usr/share/sysbench/tests/include/oltp_legacy/select_random_points.lua \
--mysql-host=110.xx.xx.10  \
--mysql-port=3306 \
--mysql-user=db_user \
--mysql-password=db_pw \
--mysql-db=dbtest \
--oltp-tables-count=32 \
--oltp-table-size=200000 \
--oltp-dist-type=uniform \
--oltp-read-only=off \
--oltp-test-mode=complex \
--rand-init=on \
--db-driver=mysql \
--report-interval=10 \
--threads=1000 \
--time=120 \
run >> ./select_random_points.log

select random ranges

sysbench /usr/share/sysbench/tests/include/oltp_legacy/select_random_ranges.lua \
--mysql-host=110.xx.xx.10  \
--mysql-port=3306 \
--mysql-user=db_user \
--mysql-password=db_pw \
--mysql-db=dbtest \
--oltp-tables-count=32 \
--oltp-table-size=200000 \
--oltp-dist-type=uniform \
--oltp-read-only=off \
--oltp-test-mode=complex \
--rand-init=on \
--db-driver=mysql \
--report-interval=10 \
--threads=1000 \
--time=120 \
run >> ./select_random_ranges.log

update_index

sysbench /usr/share/sysbench/tests/include/oltp_legacy/update_index.lua \
--mysql-host=110.xx.xx.10  \
--mysql-port=3306 \
--mysql-user=db_user \
--mysql-password=db_pw \
--mysql-db=dbtest \
--oltp-tables-count=32 \
--oltp-table-size=200000 \
--oltp-dist-type=uniform \
--oltp-read-only=off \
--oltp-test-mode=complex \
--rand-init=on \
--db-driver=mysql \
--report-interval=10 \
--threads=1000 \
--time=120 \
run >> ./update_index.log

update_non_index

sysbench /usr/share/sysbench/tests/include/oltp_legacy/update_non_index.lua \
--mysql-host=110.xx.xx.10  \
--mysql-port=3306 \
--mysql-user=db_user \
--mysql-password=db_pw \
--mysql-db=dbtest \
--oltp-tables-count=32 \
--oltp-table-size=200000 \
--oltp-dist-type=uniform \
--oltp-read-only=off \
--oltp-test-mode=complex \
--rand-init=on \
--db-driver=mysql \
--report-interval=10 \
--threads=1000 \
--time=120 \
run >> ./update_non_index.log

insert

sysbench /usr/share/sysbench/tests/include/oltp_legacy/insert.lua \
--mysql-host=110.xx.xx.10  \
--mysql-port=3306 \
--mysql-user=db_user \
--mysql-password=db_pw \
--mysql-db=dbtest \
--oltp-tables-count=32 \
--oltp-table-size=200000 \
--oltp-dist-type=uniform \
--oltp-read-only=off \
--oltp-test-mode=complex \
--rand-init=on \
--db-driver=mysql \
--report-interval=10 \
--threads=1000 \
--time=120 \
run >> ./insert.log

bulk_insert

sysbench /usr/share/sysbench/tests/include/oltp_legacy/bulk_insert.lua \
--mysql-host=110.xx.xx.10  \
--mysql-port=3306 \
--mysql-user=db_user  \
--mysql-password=db_pw  \
--mysql-db=dbtest \
--oltp-tables-count=32 \
--oltp-table-size=200000 \
--oltp-dist-type=uniform \
--oltp-read-only=off \
--oltp-test-mode=complex \
--rand-init=on \
--db-driver=mysql \
--report-interval=10 \
--threads=1000 \
--time=120 \
run >> /home/bulk_insert.log

delete

sysbench /usr/share/sysbench/tests/include/oltp_legacy/delete.lua \
--mysql-host=110.xx.xx.10  \
--mysql-port=3306 \
--mysql-user=db_user  \
--mysql-password=db_pw  \
--mysql-db=dbtest \
--oltp-tables-count=32 \
--oltp-table-size=200000 \
--oltp-dist-type=uniform \
--oltp-read-only=off \
--oltp-test-mode=complex \
--rand-init=on \
--db-driver=mysql \
--report-interval=10 \
--threads=1000 \
--time=120 \
run >> /home/delete.log

清空数据

sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua \
--mysql-host=110.xx.xx.10  \
--mysql-port=3306 \
--mysql-user=db_user  \
--mysql-password=db_pw  \
--mysql-db=dbtest \
--db-driver=mysql \
--oltp-tables-count=32 \
cleanup

字段解释

mysql-db=dbtest：测试使用的目标数据库，这个库名要事先创建
--oltp-tables-count=32：产生表的数量
--oltp-table-size=10000000：每个表产生的记录行数
--oltp-dist-type=uniform：指定随机取样类型，可选值有 uniform(均匀分布), Gaussian(高斯分布), special(空间分布)。默认是special
--oltp-read-only=off：表示不止产生只读SQL，也就是使用oltp.lua时会采用读写混合模式。默认 off，如果设置为on，则不会产生update,delete,insert的sql。
--oltp-test-mode=nontrx：执行模式，这里是非事务式的。可选值有simple,complex,nontrx。默认是complex <br>　　　　simple：简单查询，SELECT c FROM sbtest WHERE id=N <br>　　　　complex (advanced transactional)：事务模式在开始和结束事务之前加上begin和commit， 一个事务里可以有多个语句，如点查询、范围查询、排序查询、更新、删除、插入等，并且为了不破坏测试表的数据，该模式下一条记录删除后会在同一个事务里添加一条相同的记录。
　　　　nontrx (non-transactional)：与simple相似，但是可以进行update/insert等操作，所以如果做连续的对比压测，你可能需要重新cleanup,prepare。
--oltp-skip-trx=[on|off]：省略begin/commit语句。默认是off
--rand-init=on：是否随机初始化数据，如果不随机化那么初始好的数据每行内容除了主键不同外其他完全相同
--num-threads=12： 并发线程数，可以理解为模拟的客户端并发连接数
--report-interval=10：表示每10s输出一次测试进度报告
--max-requests=0：压力测试产生请求的总数，如果以下面的max-time来记，这个值设为0
--max-time=120：压力测试的持续时间，这里是2分钟。
注意，针对不同的选项取值就会有不同的子选项。比如oltp-dist-type=special，就有比如oltp-dist-pct=1、oltp-dist-res=50两个子选项，代表有50%的查询落在1%的行（即热点数据）上，另外50%均匀的(sample uniformly)落在另外99%的记录行上。
再比如oltp-test-mode=nontrx时, 就可以有oltp-nontrx-mode，可选值有select（默认）, update_key, update_nokey, insert, delete，代表非事务式模式下使用的测试sql类型。
以上代表的是一个只读的例子，可以把num-threads依次递增（16,36,72,128,256,512），或者调整my.cnf参数，比较效果。另外需要注意的是，大部分mysql中间件对事务的处理，默认都是把sql发到主库执行，所以只读测试需要加上oltp-skip-trx=on来跳过测试中的显式事务。

查看表数据量

查询表的数据量
SELECT CONCAT(table_schema,'.',table_name) AS 'Table Name', table_rows AS 'Number of Rows', CONCAT(ROUND(data_length/(1024*1024*1024),4),'G') AS 'Data Size', CONCAT(ROUND(index_length/(1024*1024*1024),4),'G') AS 'Index Size', CONCAT(ROUND((data_length+index_length)/(1024*1024*1024),4),'G') AS'Total'FROM information_schema.TABLES WHERE table_schema LIKE 'dbtest';