FastCFS实战半年成长记

    今年5月份A公司打算用FastCFS替换MooseFS,主要出于两点考虑:1. 国产化替代;2. FastCFS不存在单点问题,并且有作者提供支持,用起来更加省事和放心。A公司主要使用MooseFS作为后端存储跑qemu虚拟机,采用qcow2格式镜像文件。

    A公司对FastCFS进行了严格细致的测试,促进了FastCFS在可靠性、稳定性和性能方面的显著提升。在可靠性和稳定性提升方面,FastCFS发布了如下版本:

    6月15日 FastCFS V3.4 发布,引入选举节点,支持双活互备防脑裂,完全支持POSIX文件锁;

    7月26日 FastCFS V3.5 发布,支持多数派数据复制,在极端情况下也严格保证数据一致性;

    8月16日 FastCFS V3.5.1发布,写入数据过半数自适应,使用两副本也可以最大程度地保证数据一致性。

    FastCFS在性能方面和同类存储软件相比优势明显,我们一直引以为傲:2021年6月份发布的FastCFS V2.2,性明显超越Ceph(使用SSD盘测试):顺序写是Ceph的6.x倍,顺序读是Ceph的2.x倍,随机写大约是Ceph的2倍。

然而A公司在使用两块SATA盘的情况下,8月份做了FastCFS和MooseFS性能对比测试,颠覆了我们的认知。FastCFS的性能跑不上去,使得MooseFS的性能全面碾压FastCFS,我们引以为傲的顺序写性能也不行。这个测试结果激发了我们的斗志,历时3周,9月8日发布了FastCFS V3.6,文件读写性能大幅提升,写入性能明显反超MooseFS,读性能与MooseFS基本持平。改进前的V3.5及改进后的V3.6与MooseFS性能对比测试结果如下图(根据A公司提供的测试数据整理):

    在使用SATA盘的情况下,V3.6性能为何能做到如此巨幅的提升呢?下面就为你揭秘V3.6性能优化所做的主要工作:

1. fstore server优化

    1)文件写支持异步落盘,以充分发挥磁盘写入能力;为了提升文件写入性能,fstore增加了一个配置参数 fsync_every_n_writes,默认值为0,表示不显式调用fsync。对于机械硬盘(如SATA盘),不调用fsync可以显著提升写入性能。

    2)文件读默认采用系统缓存,对于SATA盘或SAS盘可以显著提升读取性能。

2. fuse client优化

    1)支持fuse选项writeback_cache,告诉Linux kernel是否启用合并写。开启这个选项,将迅猛提升连续写入小块数据(比如一次写入4KB)的性能。

    2)fuse.conf增加配置项kernel_cache,表示是否使用Linux kernel的文件缓存。开启这个选项,相当于在fuse客户端启用了文件缓存,在某些情况下将大幅提升文件读取性能。

   通过以上优化,V3.6的性能相比Ceph进一步拉开了距离,欢迎感兴趣的朋友进行对比测试。

    FastCFS当前版本为V3.6.2,支持百亿级文件的fdir存储引擎插件可用于生产环境,欢迎大家测试和使用。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,039评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,426评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,417评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,868评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,892评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,692评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,416评论 3 419
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,326评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,782评论 1 316
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,957评论 3 337
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,102评论 1 350
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,790评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,442评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,996评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,113评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,332评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,044评论 2 355

推荐阅读更多精彩内容