文件系统测试工具整理

现有的测试工具分为三类:

  1. 合成IO测试
  2. 基准测试集
  3. 基于Trace的测试

合成测试程序根据统计的真实负载发生规律,如请求的读写比例,大小,频率和分布等信息。建立响应的io存取模型。在测试时产生符合存取模型的io请求序列。发送给存储系统。这类程序包括 IOMeter,IOZone 和 Bonnie++。

使用基准测试集测试计算机系统的性能,一直是有效和精确的评价方法。针对存储系统的测试研究也大量使用基准测试集。

存储性能委员会SPC,为存储系统开发了基准测试集。SPC-1 SPC-2; 标准性能评价组织SPEC 标准集成立于1988,目标是建立标准和实际的性能测试集。其中 SFS是测量NFSv2和NFSv3服务器的性能,包括吞吐率和响应时间。它在客户端上运行实现定义的负载脚本产生各种实际的文件和目录操作。https://www.spec.org/sfs2014/

Trace测试。Trace 测试是搜集真实系统中所有的IO请求信息,并按照一定格式记录在Trace文件中,一般包括请求时间,请求类型和请求大小等。测试时,程序按照Trace文件中的记录想存储系统中发出IO请求。但是记录Trace信息会增加IO开销。

对于一个测试工具来说,需要满足一下几个基本要求:

一是对不同系统进行测试所得到的结果具有可比较性。

二是可移植性好,能够适应或者非常方便的移植到不同的机器上;

三是测试结果准确客观。

影响测试软件网络带宽测试结果的关键因素有:读写操作比例,测试数据总大小测试过程中每次操作的数据大小,顺序或者随机访问模式,多个测试进程同时访问一个文件还是访问各自独立的文件,或称之为共享或者并发访问模式。

参考文件:分布式文件系统性能测试软件的设计 2012 第1期

常用的文件系统测试工具:

1. pjd-fstest (posix 接口兼容性测试)

参考网站:https://www.tuxera.com/community/posix-test-suite/

fstest是一套简化版的文件系统POSIX兼容性测试套件,它可以工作在FreeBSD, Solaris, Linux上用于测试UFS, ZFS, ext3, XFS and the NTFS-3G等文件系统。fstest目前有3601个回归测试用例,测试的系统调用覆盖chmod, chown, link, mkdir, mkfifo, open, rename, rmdir, symlink, truncate, unlink。

使用教程:

https://www.cnblogs.com/xuyaowen/p/pjd-fstest.html

2. IOZone (读写模式测试)

参考链接:http://www.iozone.org/

磁盘设备之上是文件系统,测试磁盘的工具往往就是调用块设备驱动的接口进行读写测试。而文件系统的测试软件就是针对文件系统层提供的功能进行测试,包括文件的打开关闭速度以及顺序读写随机位置读写的速度。以及进程并发数目等各个方面进行详细的测试。

IOZone是目前应用非常广泛的文件系统测试标准工具,它能够产生并测量各种的操作性能,包括read, write, re-read, re-write, read backwards, read strided, fread, fwrite, random read, pread ,mmap, aio_read, aio_write等操作。Iozone目前已经被移植到各种体系结构计算机和操作系统上,广泛用于文件系统性能测试、分析与评估的标准工具。

IOZone和IOMeter不同,IOMeter的测试是基于数据块的,而IOZome的测试是基于文件的,因此更适合用来测试文件系统的性能。使用IOZone 可以在多线程,多CPU,并指定CPU Cache 空间大小以及同步或者异步IO读写模式的情况下进行文件操作的性能测试。

使用教程:

https://www.cnblogs.com/xuyaowen/p/iozone.html

3. FIO (磁盘IO测试-顺序IO和随机IO)

参考网站:http://freshmeat.sourceforge.net/projects/fio

fio是一个I/O标准测试和硬件压力验证工具,它支持13种不同类型的I/O引擎(sync, mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio等),I/O priorities (for newer Linux kernels), rate I/O, forked or threaded jobs等等。fio可以支持块设备和文件系统测试,广泛用于标准测试、QA、验证测试等,支持Linux, FreeBSD, NetBSD, OS X, OpenSolaris, AIX, HP-UX, Windows等操作系统。

使用教程:

https://www.cnblogs.com/xuyaowen/p/fio-usage.html

4. Filebench (文件系统应用负载生成测试)

参考网站:https://sourceforge.net/projects/filebench/

Filebench 是一款文件系统性能的自动化测试工具,它通过快速模拟真实应用服务器的负载来测试文件系统的性能。它不仅可以仿真文件系统微操作(如 copyfiles, createfiles, randomread, randomwrite ),而且可以仿真复杂的应用程序(如 varmail, fileserver, oltp, dss, webserver, webproxy )。 Filebench 比较适合用来测试文件服务器性能,但同时也是一款负载自动生成工具,也可用于文件系统的性能。

使用教程:

https://www.cnblogs.com/xuyaowen/p/filebench.html

https://www.usenix.org/legacy/event/lsf08/tech/FS_shepler.pdf

http://www.nfsv4bat.org/Documents/nasconf/2005/mcdougall.pdf

5. Mdtest (元数据性能测试)

Mdtest 是一个测试文件系统元数据性能的工具。

使用教程:

https://www.cnblogs.com/xuyaowen/p/ior-and-mdtest.html

6. IOR (结合mpi,利用并行IO来测试文件系统的IO性能和元数据性能)

IOR使用MPI进行进程同步(也可以使用srun或其他工具) - 通常在HPC(High Performance Computing)集群中的多个节点上并行运行IOR进程,在安装目标文件系统的每个客户机节点上运行一个IOR进程。

使用教程:

https://www.cnblogs.com/xuyaowen/p/ior-and-mdtest.html

7. dd测试工具 (磁盘IO测试-针对于顺序IO)

使用 dd 来测试硬盘读写速度,dd 只能提供一个大概的测试结果,而且是连续IO不是随机IO,理论上文件规模越大,测试结果就越精准。

使用场景,适用在单节点进行测试。

使用教程:

https://www.cnblogs.com/xuyaowen/p/dd.html

8. Iperf (网络测试,测试分布式存储系统中网络的实际带宽,主要是对tcp/udp协议的测试)

Iperf 是一个网络性能测试工具。IPerf可以测试最大的TCP和UDP带宽性能。Iperf具有多种参数和特性,可以根据需要调整。IPerf可以报告带宽。延迟抖动和数据包丢失。iperf3是一个网络速度测试工具,支持IPv4与IPv6,支持TCP、UDP、SCTP传输协议,可在Windows、Mac OS X、Linux、FreeBSD等各种平台使用,是一个简单又实用的小工具。 本文介绍安装、使用iperf3 网速测试工具。

使用教程:

https://www.cnblogs.com/xuyaowen/p/iperf-for-network.html

9. netperf (首先使用指定端口交换控制信息,再开另外的端口进行对tcp的stream,rr,crr和udp的stream,rr等应用模式进行测试)

netperf是惠普公司开源的一款针对网络性能测试****工具,主要基于TCP或UDP的传输。根据应用的不同,可以进行批量数据传输(bulk data transfer)模式和请求/应答(request/reponse)模式的性能****测试

netperf以Client/Server方式工作。Server端是netserver,用来侦听来自client端的连接,Client端是netperf,用来向Server发起网络测试。在Client与Server之间,首先建立一个控制连接,传递有关测试配置的信息,以及测试的结果;在控制连接建立并传递了测试配置信息以后,Client与Server之间会再建立一个测试连接,来回传递特殊的流量模式,用来测试网络的性能

netperf测试结果反映了一个系统能够以多快的速度向另外一个系统发送数据,以及另外一个系统能够以多块的速度接收数据。

使用教程:

https://www.cnblogs.com/xuyaowen/p/netperf.html

保持更新,转载请注明出处:cnblogs.com/xuyaowen; 如果对您有帮助,请点击推荐吧~

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,362评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,330评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,247评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,560评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,580评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,569评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,929评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,587评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,840评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,366评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,945评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2 342

推荐阅读更多精彩内容

  • 1-------- 走进前端 2-------- jQuery 3-------- CSS 4-------- A...
    依依玖玥阅读 2,315评论 0 34
  • 马上年底了,各种云评测陆续放了出来,最近看到有一些评测也引起了争议,第三方评测数据可以作为参考,真正要使用云,将业...
    力哥聊阅读 359评论 0 0
  • 一、Speedtest测试外网网速 Speedtest是用来测试网络性能的开源软件,在Linux下面安装Speed...
    木夕月_fc7b阅读 2,205评论 0 0
  • 今天跟公司新来的小美女西西在休息时间讨论了未来男朋友的样子。两个人各自拿一张白纸,写下心仪对象需要满足的条件,写完...
    蓝小撞阅读 955评论 2 0
  • 我把星期天暂定为家庭清理日,开始实施我的离舍断计划。 大凡居家过日子,都难免会有一些经年不用却又弃之可惜的物件。尤...
    宜玮L阅读 503评论 0 4