ycsb + mongodb测试

YCSB是是 Yahoo 公司的一个用来对云服务进行基础测试的工具。目标是促进新一代云数据服务系统的性能比较。

开源地址：https://github.com/brianfrankcooper/YCSB
可以下载编译好的，也可以自行编译可用版本，

本文直接使用提供的编译好的。
下载地址：https://github.com/brianfrankcooper/YCSB/releases/

如需自行编译：参考https://blog.csdn.net/vkingnew/article/details/82027461

测试说明：https://github.com/brianfrankcooper/YCSB/wiki/Running-a-Workload

目前最新的版本是0.15.0版本，可以直接 https://github.com/brianfrankcooper/YCSB/releases/download/0.15.0/ycsb-0.15.0.tar.gz 下载

本文环境：mac
解压到任意目录

tar xfvz ycsb-0.15.0.tar.gz
cd ycsb-0.15.0

进行mongodb测试

YCSB的运行分为两个阶段：测试数据加载阶段和测试操作执行阶段，前者用来加载测试数据集，后者用来执行正真的测试操作。

image.png

1.配置要测试的MongoDB，地址为：mongodb://localhost:27017，新建一个名叫ycsb的数据库

image.png

异步驱动加载、运行

cd ycsb-0.15.0

./bin/ycsb load mongodb-async -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0

./bin/ycsb run mongodb-async -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0

同步驱动加载、运行

cd ycsb-0.15.0

./bin/ycsb load mongodb -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0

./bin/ycsb run mongodb -s -P workloads/workloada -p mongodb.url=mongodb://localhost:27017/ycsb?w=0

测试结果：

image.png

测试说明

参考：https://blog.csdn.net/vkingnew/article/details/82027461

image.png

测试模式

文件名     测试场景                  读取更新插入比 应用示例 
workloada Update heavy workload      50/50   Session store recording recent actions
workloadb Read mostly workload       95/5    photo tagging; add a tag is an update, but most operations are to read tags
workloadc Read only                  100/0   user profile cache, where profiles are constructed elsewhere (e.g., Hadoop)
workloadd Read latest workload       95/0/5  user status updates; people want to read the latest
workloade Short ranges               95/5    threaded conversations, where each scan is for the posts in a given thread (assumed to be clustered by thread id)
workloadf Read-modify-write workload 50/50   user database, where user records are read and modified by the user or to record user activity.
注释：
其他的默认参数：
Default data size: 1 KB records (10 fields, 100 bytes each, plus key)
Request distribution: zipfian

配置模式中的参数：

参数                      说明
fieldcount                单条记录字段个数，默认10
fieldlength               每个字段的大小，默认100B
readallfields             是否读取所有记录，默认true
readproportion            读比例（默认0.95）
updateproportion          更新比例（默认0.05）
insertproportion          插入比例（默认0）
scanproportion            扫描比例（默认0）
readmodifywriteproportion 同一记录读、修改、回写比例（默认值：0）
requestdistribution       记录选择策略：uniform,zipfian,latest（默认值：uniform）
maxscanlength             最大scan记录数（默认值：100）
scanlengthdistribution    scan记录选择策略（默认值：uniform）
insertorder               记录插入策略：ordered,hashed（默认值：hashed）
operationcount            操作执行数
maxexecutiontime          最大执行时间，单位：秒
table                     表名（默认值值usertable）
recordcount               初始化记录条数（默认值：0）

mongodb参数设置：

参数                说明
mongodb.url          MongoDB URI或者连接串
mongodb.batchsize    对大量inert操作的时候，分批commit提交，提高吞吐量
mongodb.upsert       默认是false.true表示update操作，false表示insert操作.
mongodb.writeConcern 默认值是acknowledged。
                     可选的值：
                     - `errors_ignored`
                     - `unacknowledged`
                     - `acknowledged`
                     - `journaled`
                     - `replica_acknowledged`
                     - `majority`
mongodb.readPreference 默认值是primary
                       可选值：
                        - `primary`
                        - `primary_preferred`
                        - `secondary`
                        - `secondary_preferred`
                        - `nearest`
mongodb.maxconnections 默认值是100. mongodb.url选型中的maxPoolSize的值。
mongodb.threadsAllowedToBlockForConnectionMultiplier
                       默认值是5. mongodb.url 选型中的waitQueueMultiple的值。

测试步骤：

--压力测试的步骤：
1.启动mongoDB，建立测试数据库
2.编写workload文件：
3.加载数据：load
3.运行压测：run
4.压测过程中可配合mongostat，iostat，pmm等图形界面的监控一起观察
5.在不同并发下压力测试。
6.出具测试报告。