MongoDB分片集群实践

实践是检验真理的唯一标准

自己动手搭建一套集群

采用docker搭建集群,对于学习MongoDB,这样最省时省力。前期请自行安装Docker,这是自动化安装过程中必须用的工具。

安装docker参考:https://get.docker.com/

为了方便安装,我写了如下安装脚本,再Linux和macOS上实测通过,windows平台请自行参考。执行创建mongo集群.sh 等待片刻就可以构建一个MongoDB分片集群。完整脚本下载地址:https://www.jianguoyun.com/p/DcsnjyoQlIjtBhiHjZsD

分片集群构成

MongoDB分片群集由以下组件组成:

shard(分片):每个分片包含分片数据的子集。每个分片都可以部署为副本集。

mongos(路由):mongos充当查询路由器,在客户端应用程序和分片群集之间提供接口。

config servers(配置服务):存储集群的元数据和配置。从MongoDB 3.4开始,必须将配置服务器部署为副本集(CSRS)。

下图描述了分片群集中组件的交互:

分片策略

对于分片集群,MongoDB支持hash和range两种分片策略

Hash分片

Hash分片是计算片健的hash值,每个chunk存储该hash值一定范围的文档。这个过程完全由mongoDB服务端控制,客户端无感知。


Range分片

范围分片是按照片键值的范围进行拆分数据集,每个chunk存储片键值一定范围的文档。


片键以及策略的选择

片键一旦选定,就不能修改,而且一个片键的好坏,直接影响集群的性能。如果可以,应该选择一个区分度比较的片健,以保证数据可以均匀的分布在集群中。

Hash分片:适用于等值查询。

  • 优势:数据分布更均匀。
  • 局限性:如果是范围查询,需要扫描所有分片才能获取完整数据。
    • 不能使用unique,可以给该片键再建一个唯一索引解决。

Range分片:适用于范围查询。

  • 优势:相近的片键聚集在一个chunk中,范围查询效率好。
  • 局限性:如果片键是单调递增或者递减的,新的数据总是写入到一个固定的分片上,该分片会不断的增长和拆分,这不能更好利用集群的写入性能。

chunk(数据块)

MongoDB把数据集拆分为chunk,每一个chunk存储左闭右开[start,end)区间的数据。每个chunk属于且仅属于一个分片,当chunk超出配置的块大小(默认为64兆字节)时,MongoDB将对其进行拆分。 当一个分片相对于其他分片包含过多的集合分片时,MongoDB会迁移这些分块。

观察数据

这里创建两个集合,test_shard_hashed(hash分片)和 test_shard_range(range分片),userId都是唯一的,具体过程如下

//方便测试 1M
db=db.getSisterDB("config")
db.settings.save( { _id:"chunksize", value: 1 } )

//启用数据库分片
db=db.getSisterDB("test")
sh.enableSharding("test")

//hash分片
db.test_shard_range.drop()
sh.shardCollection("test.test_shard_range",{"userId": 1},true)
for (i = 1; i <= 100000; i++) {
    j=Math.round(Math.random()*100000)
    db.test_shard_range.insert({userId:j, name:"name"+i, create_time:new Date()})
}

//range分片
db.test_shard_hashed.drop()
db.test_shard_hashed.createIndex({"userId":1},{"unique":true})
db.test_shard_hashed.createIndex({"userId":"hashed"})
sh.shardCollection("test.test_shard_hashed",{"userId": "hashed"})
for (i = 1; i <= 100000; i++) db.test_shard_hashed.insert({userId:i+"", name:"name"+i, create_time:new Date()})

执行完成之后,连接数据库观察结果

mongo 127.0.0.1:27100
sh.status(true)

test.test_shard_hashed 分片结果如下,可以看到数据按照hash范围分布在两个分片上。


test.test_shard_range 分片结果如下,可以看到数据按照userId的值分布在两个分片上。


总结

MongoDB分片可以显著提高数据库的容量和性能,而且只需要在服务端增加副本集就可以横向扩展,再也不同担心数据库容量问题了。

参考文档

MongoDB 分片集群实战

基于Docker搭建MongoDB集群

分片官方文档

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342