细数云计算产品和技术-BigTable

简介

BigTable是谷歌自主研发的分布式数据库技术,主要在其内部使用。其优点在于可以可靠的处理PB以上级别的数据,并且能够支持前台服务器集群,实现实用性广泛、可扩展、高性能和高可用性4个目标。在谷歌BigTable已经成为很多产品的基础,包括Google Analaytics、Google Finance、Google Earch等等

架构

BigTable是一个架构非常复杂的系统,由于他是分布式的,所以有别于以往关系型数据库,需要多个节点,主要包括集群和一些依赖的服务。

集群:一个Master节点和多个Tablet节点组成,Master节点用于管理元数据,并处理来自客户端关于元数据的请求。Tablet用于存储数据,并且处理来自客户端数据的请求。

依赖服务:调动、存储和分布式锁及方面。

数据模型和调用接口

对于数据库而言,无论是关系型还是非关系型,数据模型都是核心,同样调用接口也是不可或缺的。

数据模型

表格:和普通数据表一样,也是由行和列组成,但是只支持唯一主键,没有外键用于关系建立

列组:顾名思义就是给列进行分组,提高存取效率而且避免过多的列导致表特别大

Tablet:从行的角度对表数据进行分组分隔,将Tablet分布到不同的服务器上,实现分布式存取数据

时间戳:主要用于数据同步和备份,提供根据每个单元格的时间戳来做垃圾回收

调用接口:BigTable的接口主要以API的形式对外开放,感兴趣的哥们可以做进一步研究,本文不在赘述

存储模型

Tablet运行机制:一个写请求传给Tablet,接着会提交给提交日志,然后请求存储到memtable中,异步处理memtable中的请求,将数据更新到SSTable中。

SSTable:Sorted String Table,按照键排序后存储键值对。

Compaction机制:在数据存储方面非常常用,主要用于对数据的压缩,分为Minor和Major两种数据压实操作。

分布式模型

BigTable有5中独立的构件实现分布式操作:

客户端:用于访问BigTable系统

Chubby服务:高可用和分布式的锁服务,用于协调整个BigTable的运行

Master节点:将Tablet分配给Tablet节点服务器,并且处理与数据库相关的修改操作

Tablet节点:管理Tablet节点集合,处理Tablet的读写操作,并且能够对大的Tablet进行分割

GFS系统:分布式文件系统,用于存储Tablet和SSTable文件。

文件系统

BigTable使用GFS实现数据文件的备份、负载、容错和一致性管理。

GFS:基于传统分布式文件系统实现了性能、可伸缩性、可靠性以及可用性,同时根据其自身的负载和技术情况的观察,也有其创新的设计。高度的容错机制,组件失效被认为是常态事件,在IO和块尺寸上也根据自身数据量大的情况有一定的调整。

GFS架构:存储方面文件分割成固定大小的Chunk,并且分配唯一的Chunk ID。单一Master节点策略大大简化了设计的复杂度,从数据安全的角度,每个数据块都有三个数据备份。

释放价值,分享知识和经验,解读IT前沿和技术。帮助他人,提升自己。更多交流请关注微信公众号itboxes(IT智囊)。

注:图片来源于网络,如有异议,请联系我们,我们将即时处理。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容