分布式文件系统调研

数据存储方式

文件、块和对象是三种以不同的方式来保存、整理和呈现数据的存储格式。这些格式各有各的功能和限制。文件存储会以文件和文件夹的层次结构来整理和呈现数据;块存储会将数据拆分到任意划分且大小相同的卷中; 对象存储会管理数据并将其链接至关联的元数据。

三者的本质差别是使用数据的“用户”不同:

  • 文件存储的用户是自然人
  • 块存储的用户是可以读写块设备的软件系统,例如传统的文件系统、数据库
  • 对象存储的用户则是其它计算机软件

块存储

块存储一般体现形式是卷或者硬盘(比如windows的c盘),数据是按字节来访问的,对于块存储而言,对里面存的数据内容和格式是完全一无所知的。好比上面图中,数据就像玉米粒一样堆放在块存储里,块存储只关心玉米粒进来和出去,不关心玉米粒之间的关系和用途。

块存储只负责数据读取和写入,因此性能很高,适用于对响应时间要求高的系统。比如数据库等。

文件存储

文件存储一般体现形式是目录和文件(比如C:\Users\Downloads\text.doc),数据以文件的方式存储和访问,按照目录结构进行组织。文件存储可以对数据进行一定的高级管理,比如在文件层面进行访问权限控制等。好比上面图中,数据像玉米粒一样组成玉米棒子,再对应到不同的玉米杆上,要找到某个玉米粒,先找到玉米杆,再找到玉米棒子,然后根据玉米粒在玉米棒子上的位置找到它。

文件存储可以很方便的共享,因此用途非常广泛。比如常用的NFS、CIFS、ftp等都是基于文件存储的。

对象存储

对象存储一般体现形式是一个UUID,数据和元数据打包在一起作为一个整体对象存在一个超大池子里。对于对象访问,只需要报出它的UUID,就能立即找到它,但访问的时候对象是作为一个整体访问的。好比上面图中,数据的玉米粒被做成了玉米罐头,每个玉米罐头都有一个唯一出厂号,但是买卖罐头,都一次是一盒为单位。

从设计之初衷(一般的对象存储都是基于哈希环之类的技术来实现),对象存储就可以非常简单的扩展到超大规模,因此非常适合数据量大、增速又很快的视频、图像等。

分布式文件系统比较及部分原理

存储系统 CephFS GlusterFS TFS HDFS MooseFS FastDFS MogileFS
开发语言 C++ C C++ Java C C Perl
系统性能 很高
数据存储方式 对象/文件/块 文件/块 文件 文件 文件/块 文件
集群节点通信协议 私有协议(TCP) 私有协议(TCP)/ RDAM(远程直接访问内存) TCP TCP TCP TCP HTTP
专用元数据存储点 占用MDS 占用NS 占用MDS 占用MFS 占用DB
在线扩容 支持 支持 支持 支持 支持 支持 支持
冗余备份 支持 支持 支持 支持 支持 支持 不支持
单点故障 不存在 不存在 存在 存在 存在 不存在 存在
跨集群同步 不支持 支持 支持 不支持 不支持 部分支持 不支持
易用性 安装简单,官方文档专业化 安装简单,官方文档专业化 安装复杂,官方文档少 安装简单,官方文档专业化 安装简单,官方文档多 安装简单,社区相对活跃 未知
适用场景 单集群的大中小文件 跨集群云存储 跨集群的小文件 Mapreduce使用的文件存储 单集群的大中文件 单集群的中小文件 未知
FUSE挂载 支持 支持 未知 支持 支持 不支持 不支持
访问接口 POSIX POSIX 不支持POSIX 不支持POSIX POSIX 不支持POSIX 不支持POSIX

TFS

TFS(Taobao File System)是由淘宝开发的一个分布式文件系统,其内部经过特殊的优化处理,适用于海量的小文件存储,目前已经对外开源。TFS采用自有的文件系统格式存储,因此需要专用的API接口去访问,目前官方提供的客户端版本有:C++/JAVA/PHP(没有C的接口)

  • 特点
    • 主备热切换
    • 所有元数据都是在内存中,处理效率非常高效
    • 系统架构也非常简单,管理也很方便
    • 具备负载均衡和冗余备份的功能;对小文件会采取合并策略,减少数据碎片
  • 优点
    • 针对小文件量身定做,随机IO性能比较高
    • 支持在线扩容机制,增强系统的可扩展性
    • 实现了软RAID,增强系统的并发处理能力及数据容错恢复能力
    • 支持主备热倒换,提升系统的可用性
    • 支持主从集群部署,其中从集群主要提供读/备功能
  • 缺点
    • TFS只对小文件做优化,不适合大文件的存储
    • 不支持POSIX通用接口访问,通用性较低
    • 不支持自定义目录结构,及文件权限控制
    • 通过API下载,存在单点的性能瓶颈
    • 官方文档非常少,学习成本高
  • 应用场景
    • 多集群部署的应用
    • 存储后基本不做改动
    • 海量小型文件

FastDFS

FastDFS是国人开发的一款分布式文件系统,目前社区比较活跃,提供了C、Java和PHP API。实现软RAID10,提升并发IO的性能、简单负载均衡及数据的冗余备份;同时通过线性的添加新的逻辑存储组,从容实现存储容量的线性扩容。文件下载上,除了支持通过API方式,目前还提供了apache和nginx的插件支持,同时也可以不使用对应的插件,直接以Web静态资源方式对外提供下载。内部的网络模型使用比较成熟的libevent三方库,具备高并发的处理能力。

  • 特点
    • Tracker服务器是整个系统的核心枢纽,其完成了访问调度(负载均衡),监控管理Storage服务器
    • FastDFS支持多个备用的Tracker,消除系统的单点故障
    • 只有同组的Storage才做同步
    • FastDFS在主从文件ID上做取巧,完成了关联关系的存储
  • 优点
    • 针系统无需支持POSIX(可移植操作系统),降低了系统的复杂度,处理效率更高
    • 支持在线扩容机制,增强系统的可扩展性
    • 实现了软RAID10,增强系统的并发处理能力及数据容错恢复能力
    • 支持主从文件,支持自定义扩展名
    • 主备Tracker服务,增强系统的可用性
    • 支持小文件合并存储
  • 缺点
    • 不支持POSIX通用接口访问,通用性较低
    • 对跨公网的文件同步,存在较大延迟,需要应用做相应的容错策略
    • 同步机制不支持文件正确性校验,降低了系统的可用性
  • 应用场景
    • 单集群部署的应用
    • 存储后基本不做改动
    • 小中型文件

CephFS

Ceph是一个可以按对象/块/文件方式存储的开源分布式文件系统,其设计之初,就将单点故障作为首先要解决的问题,因此该系统具备高可用性、高性能及可扩展等特点。该文件系统支持目前还处于试验阶段的高性能文件系统BTRFS(B-Tree文件系统),同时支持按OSD方式存储,因此其性能是很卓越的。

  • 特点
    • Ceph底层存储是基于RADOS(可靠的、自动的分布式对象存储),它提供了LIBRADOS/RADOSGW/RBD/CEPH FS方式访问底层的存储系统
    • 通过FUSE,Ceph支持类似的POSIX访问方式;Ceph分布式系统中最关键的MDS节点是可以部署多台,无单点故障的问题,且处理性能大大提升
    • Ceph通过使用CRUSH算法动态完成文件inode number到object number的转换,从而避免再存储文件metadata信息,增强系统的灵活性
  • 优点
    • 支持对象存储(OSD)集群,通过CRUSH算法,完成文件动态定位, 处理效率更高
    • 支持通过FUSE方式挂载,降低客户端的开发成本,通用性高
    • 支持分布式的MDS/MON,无单点故障
    • 强大的容错处理和自愈能力
    • 支持在线扩容和冗余备份,增强系统的可靠性
  • 缺点
    • 目前处于试验阶段,系统稳定性有待考究
    • ceph目前还不足够成熟,它基于的btrfs本身也不成熟,它的官方网站上也明确指出不要把ceph用在生产环境中
  • 应用场景
    • 全网分布式部署的应用
    • 对实时性、可靠性要求比较高官方宣传,存储容量可轻松达到PB级别

GlusterFS

GlusterFS是Red Hat旗下的一款开源分布式文件系统,它具备高扩展、高可用及高性能等特性,由于其无元数据服务器的设计,使其真正实现了线性的扩展能力,使存储总容量可 轻松达到PB级别,支持数千客户端并发访问;对跨集群,其强大的Geo-Replication可以实现集群间数据镜像,而且是支持链式复制,这非常适用于跨集群的应用场景。

  • 特点
    • 支持FUSE方式挂载,可以通过标准的NFS/SMB/CIFS协议像访问本体文件一样访问文件系统,同时其也支持HTTP/FTP/GlusterFS访问
    • 通过基于SSH的命令行管理界面,可以远程添加、删除存储节点,也可以监控当前存储节点的使用状态
    • 持集群节点中存储虚拟卷的扩容动态扩容;同时在分布式冗余模式下,具备自愈管理功能,在Geo冗余模式下,文件支持断点续传、异步传输及增量传送等特点
  • 优点
    • 支持POSIX(可移植操作系统),支持FUSE挂载通过多种协议访问,通用性比较高
    • 支持在线扩容机制,增强系统的可扩展性
    • 实现了软RAID,增强系统的并发处理能力及数据容错恢复能力
    • 强大的命令行管理,降低学习、部署成本
    • 支持整个集群镜像拷贝,方便根据业务压力,增加集群节点
    • 官方资料文档专业化,该文件系统由Red Hat企业级做维护,版本质量有保障
  • 缺点
    • 通用性越强,其跨越的层次就越多,影响其IO处理效率
    • 频繁读写下,会产生垃圾文件,占用磁盘空间
  • 应用场景
    • 多集群部署的应用
    • 中大型文件根据目前官方提供的材料,现有的使用GlusterFS系统存储容量可轻松达到PB

MooseFS

MooseFS是一个高可用的故障容错分布式文件系统,它支持通过FUSE方式将文件挂载操作,相对比较轻量级,同时其提供的web管理界面非常方便查看当前的文件存储状态。但其对master服务器有单点依赖,用perl编写,性能相对较差,国内用的人比较多。

HDFS

安装简单,官方文档专业化;大数据批量读写,吞吐量高;一次写入,多次读取,顺序读写;难以满足毫秒级别的低延时数据访问;不支持多用户并发写相同文件;不适用于大量小文件;适合存储非常大的文件。

MogileFS

依赖数据库,Trackers(控制中心):负责读写数据库,作为代理复制storage间同步的数据,除了API,可以通过与nginx集成,对外提供下载服务,

选型参考

  1. 按特性分类

    • 适合做通用文件系统的有:Ceph,Lustre,MooseFS,GlusterFS
    • 适合做小文件存储的文件系统有:Ceph,MooseFS,MogileFS,FastDFS,TFS
    • 适合做大文件存储的文件系统有:HDFS,Ceph,Lustre,GlusterFS,GridFS
    • 轻量级文件系统有:MooseFS,FastDFS
    • 简单易用,用户数量活跃的文件系统有:MooseFS,MogileFS,FastDFS,GlusterFS
    • 支持FUSE挂载的文件系统有:HDFS,Ceph,Lustre,MooseFS,GlusterFS
  2. 初步筛选

    • 考虑到GFS不开源,学习成本高,且相关特性资料不全面的情况下,暂时先不考虑使用GFS上文没写)
    • Ceph目前不够成熟稳定,很少有使用在生产环境的案例,暂时排除
    • Lustre对内核依赖程度过重,且不易安装使用,暂时排除(上文没写)
    • TFS安装复杂,且官方文档少,不利于以后的学习使用,暂时先排除
    • 经初步筛选剩下的文件系统有:HDFS、MooseFS、MogileFS、FastDFS、GlusterFS、GridFS
  3. 根据需求进一步筛选

    • 需求

      1. 需要搭建一部管理原始凭证的文件系统,原始凭证的文件类型主要是小文件(<100M),不会对文件进行变更,无写操作,读操作量大,且对安全性要求较高
      2. 随着系统在使用过程中数据量逐步庞大,文件的量会变得繁多,对文件读取速率要求尽可能高但不追求极致
      3. 文件系统需要有较完善的冗余备份与容错机制,功能尽量精简耐用,安装配置应简单且适合于国产环境部署
    • 分析

      1. 需要选择适合海量小文件存储的文件系统,适合的文件系统有:MooseFS,MogileFS,FastDFS
      2. 其次需要支持冗余备份,适合的文件系统有:MooseFS、FastDFS、GlusterFS
      3. 符合条件1,2且功能精简的文件系统有:FastDFS
      4. 符合条件1,2且功能全面的文件系统有:MooseFS
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容