实践是检验真理的唯一标准
自己动手搭建一套集群
采用docker搭建集群,对于学习MongoDB,这样最省时省力。前期请自行安装Docker,这是自动化安装过程中必须用的工具。
安装docker参考:https://get.docker.com/
为了方便安装,我写了如下安装脚本,再Linux和macOS上实测通过,windows平台请自行参考。执行创建mongo集群.sh 等待片刻就可以构建一个MongoDB分片集群。完整脚本下载地址:https://www.jianguoyun.com/p/DcsnjyoQlIjtBhiHjZsD。
分片集群构成
MongoDB分片群集由以下组件组成:
shard(分片):每个分片包含分片数据的子集。每个分片都可以部署为副本集。
mongos(路由):mongos充当查询路由器,在客户端应用程序和分片群集之间提供接口。
config servers(配置服务):存储集群的元数据和配置。从MongoDB 3.4开始,必须将配置服务器部署为副本集(CSRS)。
下图描述了分片群集中组件的交互:
分片策略
对于分片集群,MongoDB支持hash和range两种分片策略
Hash分片
Hash分片是计算片健的hash值,每个chunk存储该hash值一定范围的文档。这个过程完全由mongoDB服务端控制,客户端无感知。
Range分片
范围分片是按照片键值的范围进行拆分数据集,每个chunk存储片键值一定范围的文档。
片键以及策略的选择
片键一旦选定,就不能修改,而且一个片键的好坏,直接影响集群的性能。如果可以,应该选择一个区分度比较的片健,以保证数据可以均匀的分布在集群中。
Hash分片:适用于等值查询。
- 优势:数据分布更均匀。
- 局限性:如果是范围查询,需要扫描所有分片才能获取完整数据。
- 不能使用unique,可以给该片键再建一个唯一索引解决。
Range分片:适用于范围查询。
- 优势:相近的片键聚集在一个chunk中,范围查询效率好。
- 局限性:如果片键是单调递增或者递减的,新的数据总是写入到一个固定的分片上,该分片会不断的增长和拆分,这不能更好利用集群的写入性能。
chunk(数据块)
MongoDB把数据集拆分为chunk,每一个chunk存储左闭右开[start,end)区间的数据。每个chunk属于且仅属于一个分片,当chunk超出配置的块大小(默认为64兆字节)时,MongoDB将对其进行拆分。 当一个分片相对于其他分片包含过多的集合分片时,MongoDB会迁移这些分块。
观察数据
这里创建两个集合,test_shard_hashed(hash分片)和 test_shard_range(range分片),userId都是唯一的,具体过程如下
//方便测试 1M
db=db.getSisterDB("config")
db.settings.save( { _id:"chunksize", value: 1 } )
//启用数据库分片
db=db.getSisterDB("test")
sh.enableSharding("test")
//hash分片
db.test_shard_range.drop()
sh.shardCollection("test.test_shard_range",{"userId": 1},true)
for (i = 1; i <= 100000; i++) {
j=Math.round(Math.random()*100000)
db.test_shard_range.insert({userId:j, name:"name"+i, create_time:new Date()})
}
//range分片
db.test_shard_hashed.drop()
db.test_shard_hashed.createIndex({"userId":1},{"unique":true})
db.test_shard_hashed.createIndex({"userId":"hashed"})
sh.shardCollection("test.test_shard_hashed",{"userId": "hashed"})
for (i = 1; i <= 100000; i++) db.test_shard_hashed.insert({userId:i+"", name:"name"+i, create_time:new Date()})
执行完成之后,连接数据库观察结果
mongo 127.0.0.1:27100
sh.status(true)
test.test_shard_hashed 分片结果如下,可以看到数据按照hash范围分布在两个分片上。
test.test_shard_range 分片结果如下,可以看到数据按照userId的值分布在两个分片上。
总结
MongoDB分片可以显著提高数据库的容量和性能,而且只需要在服务端增加副本集就可以横向扩展,再也不同担心数据库容量问题了。