2023-05-22存储虚拟化

由于SSD采用闪存芯片取代了机械臂移动和盘片旋转,读写速度非常快,普通的SSD读写都在500MB/s以上。

RAID RAID(Redundant Array of Independent Disk,独立磁盘冗余阵列),它的基本思想就是把多个相对便宜的硬盘组合起来,成为一个硬盘阵列组,使得性能达到甚至超过一个价格昂贵、容量巨大的硬盘。

RAID技术提供了一种高性能、高可靠的数据存储技术,通过RAID技术组合多个盘,当数据读写时可以分散到多个磁盘,从而提高读写速度。并且配合校验、纠错技术,当有一个磁盘,出现故障后,能恢复数据,从而保证数据的高可靠。

分布式存储和 RAID 有相同的设计思想:数据拆分存储。

RAID等级从RAID0~RAID6七个等级。其中,RAID 0只做条带化,没有数据高可用保障;RAID 1通过镜像技术将数据同时原样写入两个磁盘,保障数据高可靠性;而RAID 5通过校验码的方式保存数据。

RAID 1采用的就是镜像技术,它的写入速度会比较慢,但读取速度会比较快,如图4-4所示。读取速度可以接近所有磁盘吞吐量的总和,写入速度受限于最慢的磁盘,没有校验数据。RAID1由于是数据镜像,所以浪费了一组磁盘,并且写性能不好,而读性能提升了。

RAID 5是当前最流行的RAID, RAID 5是通过计算数据的校验和,如果图4-5所示数据文件A被拆分成 A1、A2、A3三个数据块,通过校验算法计算出校验块Ap,并将这四个数据块保存到四个磁盘上面。无论是哪一个磁盘发生故障,都可以通过逆向生成数据块,从而保障数据的安全,RAID 5可以允许一个磁盘发生故障。


存储按照使用的方式分为块存储、文件存储和对象存储。

分块存储

分布式块存储主要考量的性能指标有IOPS(Input/OutputOperations per Second,即每秒能处理的I/O个数,用于表示块存储处理读写能力)、吞吐量(单位时间内可以成功传输的数据数量)和访问延迟(块存储处理一个I/O需要的时间)。

文件存储

文件存储(File storage)是以文件目录的方式提供的,直接将文件系统呈现给用户。我们每天使用的桌面系统,使用的就是文件系统。

对象存储

对象存储(Object storage)是以二进制对象的方式提供服务,它既不像块存储那样提供块的读取,也不像文件存储那样读写文件,而是以HTTP API的方式上传或者下载二进制对象。我们使用的网盘服务就是一种对象存储,当然,最著名的对象还是 AWS的 S3存储。

对象存储的另一个重要作用是存储大文件,如视频、图片等,相比文件存储和块存储,对象存储的容量更大,价格更便宜,并且消除了文件存储 inode 个数的限制,在处理大量文件遍历的场景也比文件存储要快,但对象存储也不是万能的,它必须通过HTTP接口的方式传输数据,这导致读写的性能不会太高,并且也无法组织复杂的目录结构。

对象存储通常分为两级,bucket(桶)和object(对象),可以将bucket当作一个大的目录,而 object 则是这个目录下的文件。为了安全访问,还可以分别针对 bucket 和object设置读写权限。


开源存储

Ceph需要具有可靠性(reliability)、可扩展性(scalability)、统一性(unified)和可分布式(distributed)存储特性。

可靠性主要分为两点,第一,写入数据的强一致性,它并非是最终一致性,必须完成多副本的成功写入才能提交;第二,通过多副本保证数据不丢失,避免因为单个服务器或者单个机架的故障导致数据丢失。

可扩展性,主要指通过增加系统节点数,扩大系统规模的同时,系统的存储容量也相应提高,当然在理想情况下应该成线性关系,Ceph的OSD支持动态添加,当集群容量不足时,通过增加OSD节点便可以扩展集群的容量,并且Ceph能够自动完成数据重新分配。

统一性,是指Ceph能够同时支持文件存储、对象存储和块存储。这些特点最终都得利用Ceph分布式的架构设计和去中心化的设计思想。

SeaweedFS是Golang实现的具有文件存储和对象存储功能的分布式存储。SeaweedFS系统架构图如图4-25所示。

Master负责维护集群信息,并管理多个VolumeServer,Master之间通过Raft协议保持数据一致,而每个VolumeServer又负责管理多个卷(大小固定)。如果Client需要写数据,需要先请求Master写入数据,Master 返回fid和VolumeServer地址。其中,fid前32位代表Volume ID,这样客户端便可以通过HTTP的方式上传文件。SeaweedFS也是一个多副本、强一致性的方案,只不过它的副本是卷,并非单个文件。SeaweedFS还提供了 FUSE文件挂载,这样便可以通过mount方式挂载到机器上。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,907评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,987评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,298评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,586评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,633评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,488评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,275评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,176评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,619评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,819评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,932评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,655评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,265评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,871评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,994评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,095评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,884评论 2 354

推荐阅读更多精彩内容