关于云存储,你需要知道的一些事(一)

引言

Alphago打破围棋神话、无人驾驶、机器人送餐,人工智能已备受全球瞩目,现在资本的热潮也正转向AI市场,智能化大潮已势不可挡。当下人工智能和云业务紧密关联,未来将变得更加智能,但在这个智能化的背后,是对海量数据存储的刚性需求,据悉,单是一辆无人驾驶汽车每秒产生的数据容量就在1G左右,相当于每秒发送20万封纯文本电子邮件,或上传100张高清数码照片。没有大容量、超稳定的存储系统,这一切都是无稽之谈。

无存储,不智能,那么云存储技术是如何实现的?今天将由UCloud存储研发部经理李希源给我们带来云存储-—对象存储(UFile)技术深度解析。

对象存储 UFile

对象存储(UFile)是为互联网应用提供非结构化文件存储的服务;相对于传统硬盘存储,UFile具有存储无上限、支持高并发访问、成本更低等优势;解决业务架构的文件存储问题,有效降低海量文件的存储成本,支持热点数据的高并发访问,提升终端用户访问体验。

单地域UFile存储架构集群介绍

单地域UFile架构大体可划分为6大集群:

ULB实现外网的对接及接入层的负载均衡及容灾处理,主要实现外网IP地址的绑定及接入层集群的秒级异常剔除,该模块通过定期向接入层模块端口发送心跳检测接入层模块的可用性,在发现异常时及时进行异常模块的剔除

接入层提供文件访问服务,该模块为无状态设计,因此可以平行扩容及缩容

索引层保存文件对象的元数据信息,包括对象名称、对象大小、创建时间、存储位置等信息

存储层是实际存储文件数据的模块集群,主要实现文件数据的多份分布及高可靠存储

数据处理层主要实现UFile图片及数据的处理,包括图片的实时裁剪、缩放、旋转、水印、格式转换、信息获取操作,以及使用客户自己的通用计算镜像对数据进行处理

名字服务主要实现索引层、存储层及数据处理层模块的容灾剔除,以上3个集群的模块会定期在名字服务注册自身的服务,当其中有部分模块因机器异常或者网络中断导致无法提供服务时,名字服务会将该机器从名字中剔除,并且通知接入层,从而实现后台模块的容灾剔除。

主要从以下三点解析:

UFile索引层设计

UFile存储层设计

UFile存储路由算法设计

UFile索引层设计

UFile索引层为一套分布式KV存储系统,其主要目标是保证UFile对象元数据的高性能、高可靠、高可用及可扩展的存储,其主要分成2层架构:

索引接入集群,主要解决索引存储集群的管理及元数据的分布,这一层模块为无状态设计,通过名字服务实现异常状态的容灾剔除

索引存储集群,实现对象元数据的分布式存储,每个对象元数据将存储3份,保证数据的可靠性及高可用性,同时对象存储采用SSD作为存储介质,保证了元数据存储的高并发低延时访问特性。该模块采用固定集群规模的方式进行管理,每个集群支撑的存储量、访问量固定,存储可实现以集群为单位的水平扩容,保障业务不断增长情况下的高性能稳定访问支持

UFile存储层设计

存储层包括3中类型模块集群:

存储节点,该模块按照固定大小的集群(称为Set)进行组织和管理,每个集群支撑的存储量及访问量规格固定,该模块可根据存储量需求横向进行无限扩展,从而实现客户无存储量上限的数据存储。每个对象数据在存储层存储3份数据,通过对异常情况的及时处理及坏盘的及时修复,保证数据极高的可靠性(99.99999999%)

SetMaster,该模块进行Set状态的管理,接入集群通过SetMaster决定上传的对象数据的存储集群,并执行数据的存储操作

OsdMaster,该模块每个Set有一套,实现Set内部的存储路由管理,并对各块磁盘的状态进行监控,及时剔除异常磁盘

UFile存储路由算法设计

UFile存储集群采用无中心设计,数据存储采用固定的路由算法进行存储,因为存储集群的规模是固定的,因此路由表也是固定,这就保证了存储系统的简单性及稳定性。下面详细介绍UFile数据存储层的路由算法设计。

在存储集群上线时,每个集群的OsdMaster将该集群的磁盘信息进行组织,生成一个存储路由表,该路由表的每个项目对应3块分布在不同机架及存储机器上的磁盘,对象数据将按照该路由表指定的位置进行存储。

每个存储在UFile上的对象数据将被切分成若干个4MB的数据块,称为分片。UFile为每个对象分配一个单集群内部唯一的对象ID,通过对象ID和分片编号拼接获得分片ID,通过字符串哈希算法获得哈希值,并在路由表中找到该分片存储的3块磁盘位置,由UFile接入模块将该分片数据提交到3块磁盘上。

当单块磁盘出现异常时,OsdMaster会发现该情况并将该磁盘标记为异常状态,接入层写入该数据时,将只写入两份数据,磁盘修复后,将从这两份数据中拷贝一份数据到已修复磁盘,恢复数据的多份高可靠存储。当出现一个哈希表项中有2块磁盘不可使用的情况下,为保证数据安全性,该存储集群将不允许写入操作,写入操作将被切换到其他集群提供服务,从而保证UFile读写的高可用性。

UFile功能优势:

海量存储

存储空间无上限,无需考虑存储空间扩容问题,单文件最大支持5TB。适用于音视频、图片分享等UGC类应用海量文件存储。

高并发

支持高并发访问,突破传统磁盘I/O限制,满足高访问量及高下载量业务需求。适用于高下载量高访问量应用文件的存储。

访问加速

存储文件结合CDN分发加速,国内外500+加速节点,有效降低访问延迟、提升下载速度。提升全网终端用户的访问体验。

安全可用

所存文件保存三份副本,分布存储于不同存储集群。即使单份数据损坏也不影响存储文件的可用性,同时保证文件安全。

内容保护

可通过身份验证机制及防盗链设置控制终端用户访问权限,避免因内容被盗用产生的版权损失及恶意访问的流量消耗。

图片处理

提供图片处理服务,支持图片缩放、剪裁、添加水印等功能,并提供多种尺寸设置,满足移动端、PC端等多终端访问需求。

更低成本

存储单价仅为云硬盘的1/2,下载由CDN分发,降低存储及网络成本。按实际使用量计费,无存储及带宽资源闲置浪费。

开发支持

完备的API接口及SDK开发包支持,适合多种语言,与原有业务无缝结合,能够极大缩短开发周期,帮助业务快速上线。

总结:

在大量企业对数据存储的强需求背景下,UCloud对象存储系统应运而生,本文通过介绍UFile产品、底层文件存储系统实现细节、功能优势,分析UFile如何实现高可靠及高可用特性,为企业数据服务保驾护航,从云存储技术出发,助力各个领域的企业更高效、更智能探索数据价值。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,377评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,390评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,967评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,344评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,441评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,492评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,497评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,274评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,732评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,008评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,184评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,837评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,520评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,156评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,407评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,056评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,074评论 2 352

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,963评论 25 707
  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 10,939评论 6 13
  • 连续输出却没有输入的二十六天就这样过去了,参加这个三十天连续写作训练营已经是第二十七天了。昨天开始忽然就觉得枯竭了...
    兔娘阅读 228评论 2 1
  • 有你陪伴 追随着梦想 愿你陪我到最后 看我赢得辉煌 同我君临天下
    麻天喜阅读 236评论 0 2
  • 夜,未央之境,难眠。清醒莫若高烧之时,或酒后。风过窗,入密叶。间有梦语,清晰而不明其逻辑。开便携灯,意耗尽移动电源...
    鱼礼阅读 213评论 0 0