数据库分片

什么是分片?

分片(Sharding)是一种与水平切分(horizontal partitioning)相关的数据库架构模式——将一个表里面的行,分成多个不同的表的做法(称为分区)。每个区都具有相同的模式和列,但每个表有完全不同的行。同样,每个分区中保存的数据都是唯一的,并且与其他分区中保存的数据无关。

从水平切分(horizontal partitioning)与垂直切分(vertical partitioning)的关系,可能会有所帮助。在垂直切分表中,所有的列被分离出来,并放入新的不同的表中。每个垂直切分内的数据,独立于所有其他分区中的数据,并且每个分区都包含不同的行和列。下图说明了如何在水平和垂直方向上对表进行分区:

range 分区是一种水平分区。

分片(Sharding)将一个数据分成两个或多个较小的块,称为逻辑分片(logical shards)。然后,逻辑分片(logical shards)分布在单独的数据库节点上,称为物理分片(physical shards)。物理分片(physical shards)可以容纳多个逻辑分片(logical shards)??。

数据库分片(Database shards)是无共享架构的一个例子。这意味着分片是自治的:分片间不共享任何相同的数据或服务器资源。

通常,分片(Sharding)在应用程序级别进行实现。这意味着应用程序包含“要向哪个分片发送读和写”的代码。但是,某些数据库管理系统内置了分片功能,允许您直接在数据库级别实现分片。

分片的优点

数据库分片的主要吸引力在于,它可以帮助促进水平扩展(horizontal scaling),也称为向外扩展(scaling out)。水平扩展是将更多的机器添加到现有堆栈中,以分散负载,允许更多的流量和更快的处理。这通常与垂直扩展(vertical scaling)形成对比,垂直扩展也称为向上扩展(scaling up),是指升级现有服务器的硬件,通常是添加更多内存或CPU。

分片的缺点

要考虑的最后一个缺点是,并不是每个数据库引擎本身都支持分片。例如,尽管可以手动分片PostgreSQL数据库,但PostgreSQL本身并不包括自动分片功能。有许多Postgres分支包括自动分片功能,但这些分支通常落后于最新的PostgreSQL版本,并且缺乏某些其他的功能特性。一些专业的数据库技术——如MySQL Cluster或某些数据库即服务产品(如MongoDB Atlas)确实包含自动分片功能,但这些数据库管理系统的普通版本却并不包含。因此,分片通常需要“自己动手”的方法。这意味着通常很难找到有关分片或故障排除技巧的文档。

分片架构

基于键值的分片
基于范围的分片

基于范围的分片(Range based sharding),基于给定值的范围进行数据分片。为了说明,假设您有一个数据库,用于存储零售商目录中所有产品的信息。您可以创建一些不同的分片,并根据每个产品的价格范围分配每个产品的信息,如下所示:


本案例中基于第二列 Price 进行范围划分得到分片

基于目录的分片

要实现基于目录的分片,必须创建并维护一个使用分片键的查找表,以跟踪哪个分片保存哪些数据。简而言之,查找表是一个表,其中包含一组静态信息,这些信息描述可以在何处找到特定数据。下图显示了基于目录分片的简化示例:


此处,“ 交付区”列定义为分片键。分片键中的数据与每行应写入的分片一起被写入查找表。这类似于基于范围的分片,但不是确定分片密钥的数据属于哪个范围,而是将每个密钥绑定到其自己的特定分片。如果分片密钥的基数较低,并且分片存储一定范围的密钥没有意义,那么基于目录分片是基于范围分片的不错选择。注意,它也与基于密钥的分片不同,因为它不通过哈希函数处理分片密钥。它只是对照查找表检查密钥,以查看需要将数据写入何处。

基于目录分片的主要优势在于它的灵活性。基于范围分片将限制为指定值的范围,而基于键的分片将限制为使用固定的哈希函数,(此哈希函数以后很难更改)。而基于目录分片允许使用任何系统算法为分片分配数据条目,并且使用此方法动态添加分片相对容易。

尽管基于目录分片是此处讨论最灵活的分片方法,但是在每次查询或写入之前,连接到查找表的需求可能会对应用程序的性能产生不利影响。此外,查找表可能会成为单点故障:如果它损坏或以其他方式失败,则会影响写入新数据或访问其现有数据。

我应该分片吗?

是否应该实施分片数据库是一个辩证的问题。有些人认为分片是达到一定规模的数据库的必然结果,而另一些人则认为这是令人头痛的事情,除非绝对必要,否则应该避免,因为分片会增加操作的复杂性。

由于增加了复杂性,因此通常仅在处理大量数据时才执行分片。以下是一些常见的场景,在这些场景中分片数据库可能会有所帮助:

· 应用程序数据量增长到超过单个数据库节点的存储容量。

· 对数据库的写或读量超过单个节点或其只读副本可以处理的量,导致响应时间变慢或超时。

· 应用程序所需的网络带宽超过了单个数据库节点和任何只读副本可用的带宽,导致响应时间变慢或超时。

在分片之前,应该用尽所有其他方式来优化数据库。您可能要考虑的一些优化包括:

· 建立一个远程数据库。如果您正在使用其所有组件都位于同一服务器上的整体应用程序,则可以通过将数据库移至其自己的计算机上来提高数据库的性能。由于数据库表保持完好无损,所以这不会像分片那样增加复杂性。但是,它仍然允许您与其他基础架构分开纵向扩展数据库。

· 实现缓存。如果您的应用程序的读取性能是造成您麻烦的原因,那么缓存是可以帮助改进它的一种策略。缓存涉及将已经请求的数据临时存储在内存中,从而使您以后可以更快地访问它。

· 创建一个或多个只读副本。可以帮助提高读取性能的另一种策略是,将数据从一个数据库服务器(主服务器)复制到一个或多个辅助服务器上。此后,每个新的写操作都会先复制到主服务器上,然后再复制到辅助服务器上,而读操作将仅对辅助服务器进行。像这样分布读写,可以防止任何一台计算机承担过多的负载,从而有助于防止速度下降和崩溃。请注意,创建只读副本会涉及更多的计算资源,因此会花费更多的金钱,这对于某些人而言可能是一个重大限制。

· 升级服务器硬件。在大多数情况下,将数据库服务器升级更多资源比分片需要更少的工作。与创建只读副本一样,具有更多资源的服务器可能会花费更多资金。因此,只有在真正成为最佳选择的情况下,才应调整大小。

请记住,如果您的应用程序或网站增长到一定程度,这些策略都不足以满足性能需求。这时候,分片可能确实是您的最佳选择。

结论

对于希望水平扩展数据库的用户来说,分片是一个很好的解决方案。但是,这也增加了很多复杂性,并为您的应用程序创建了更多潜在的故障点。某些人可能需要分片,但是创建和维护分片架构所需的时间和资源可能会超过其他人的利益。

通过阅读本文,您应该对分片的利弊有更清晰的了解。接下来,您可以利用这种见解来做出更明智的决定,以了解分布式数据库是否适合您的应用程序。


原文:https://www.digitalocean.com/community/tutorials/understanding-database-sharding
参考:

  1. https://zhuanlan.zhihu.com/p/98355383
  2. https://zhuanlan.zhihu.com/p/99017933
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,539评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,594评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,871评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,963评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,984评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,763评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,468评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,357评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,850评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,002评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,144评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,823评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,483评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,026评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,150评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,415评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,092评论 2 355

推荐阅读更多精彩内容