第二部分5-9章综述,designing Data-Intensive Applications 中文翻译摘要

之前的第一部分我们都在讲的是单机的数据系统。第二部分我们上一个台阶,当有多台机器的时候,我们需要如何进行数据的存储和查询?为什么我们需要一个多机分布式的数据库呢?原因如下

  • 扩展性, 如果你的数据量,读写量已经超过了单机负载的极限,你可以通过多机部署的方法提高负载
  • 容错性/高可用性, 如果你的服务要求即使单机挂了,也能正常服务,那你就需要多机了,即使一台挂了,其他机器依旧能够提供服务
  • 减小延迟, 如果你的用户遍布全球,那你会希望你在世界多个地区都有服务部署,这样用户就可以和他最近的那个服务通讯,避免了你的数据跨越半个地球而带来的延迟。

提高服务负载能力

如果你想提高你服务的负载能力,最简单的方法是买一台更好的机器,这个往往称作垂直扩展(vertical scaling or scaling up)。这也引出了共享内存架构(shared-memory architecture)。如果你有多个CPU,多个内存条,多块磁盘在同一个操作系统的管理下,并且CPU可以内部极快的访问你的内存。这样可以把这所有的组件当做一台机器看待。

但是这个方案有一个问题,首先是性价比问题,一台电脑如果有原来2倍的CPU,2倍的内存,2倍的磁盘空间,那价格一定不止原来的2倍。另外就是由于瓶颈效应,这台配置2倍的机器很可能无法承受2倍的负载。还有就是这个架构的容错性比较差,虽说高端机器会允许你在不停机的情况下更换CPU,内存,磁盘等等。但是他毕竟还有地理位置的限制,也就是说你不可避免的会有高延迟的问题。

另外一个方法是共享磁盘架构(shared-disk architecture), 我们用多台机器,这些机器之间共享磁盘,但是每台机器有自己的CPU和内存,机器之间通过网络连接。这种方式在一些数据仓库当中有运用,但是网络传输以及多机锁的问题限制了他的扩展性。

不共享架构

相反,不共享架构(shared-nothing architectures),也叫水平扩展(horizontal scaling or scaling out)就更为流行。在这种架构下,每一台机器被称作一个节点(node), 每个节点有自己的CPU, 内存,磁盘,节点之间是不共享任何东西的。任何节点之间的协作是通过软件层面实现的,通信方式还是最为普通的网络。

因为这个架构对硬件机器没有任何要求,所以你可以用任何你觉得性价比最高的机器。你可以把数据放在不同地域的数据中心内,这样既可以降低延迟,也可以防止某一个机房崩溃所带来的数据丢失。在当下,由于有了云服务商,你不再需要有google这个量级,也可以轻松的用虚拟机部署一个多地的服务。

本章我们重点关注不共享架构,因为这个架构很好用,并且在这其中你需要考虑很多东西,一旦你的数据跨节点存储,在这其中就会有很多的约束和折中。这些问题数据库都没办法替你处理。

尽管这种不共享架构有很多优点,但是同时它引入了很多的复杂性,有时候会限制你的可用的数据模型。在特殊情况下,一个单机单线程的程序要比一个100核的大集群的表现更好。下面就深入来讲当数据分布到多机后,一些特有的概念。

备份(Replication) VS 分区(Partitioning)

将数据部署到多地有两种简单的方法,

  • 备份, 将同一份数据的多个副本保存到多机,甚至多地。备份提供了可靠性,即使一个节点挂掉了,剩下的节点也可以提供服务。备份往往也能带来性能提高,这个第5章讲。
  • 分区, 将一个大型数据库分解成若干个小的子集,不同的分区可以部署在不同的节点上,这种也叫分片(sharding).这个技术第6章讲
    虽然这是两种技术,但是我们往往在日常中要结合两种技术同时使用,可以看Figrure II-1

当我们对这些概念有了简单的了解后,我们会讲一个分布式系统比较难的点,权衡(trade-off), 第7讲事务(transactions),你会发现在一个数据系统中,很多地方会有很多你意想不到的错误,然后会了解到如何应对这些问题。第8、9章会总结讨论分布式系统的一些基础限制。第三部分主要讲如何将多个不同的数据存储集成到一个大型系统中去,以满足系统各个方面的需求。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容