一、集群说明
1.1 服务组件
集群有三种服务,每种服务都可以部署成主从集群。
config:配置服务,用于存储集群的配置信息
mongos:路由服务,不存储实际数据
mongod:副本和分片服务,实际的业务数据存储服务
1.2 术语解释
副本集:如果是无副本,则副本的集群配置就是单机,但是生产环境通常是1主2从的副本集群。
分片:将多个副本集划分成多个分片,用于业务数据的分散存储,提高查询效率。分片分为范围分片和哈希分片。
1.3 mongodb概述
Mongodb的分片机制是mongodb数据库的核心机制,也是其可用性高,扩展性好的原因,分片—sharding 的意思就是将数据库数据分散存贮到不同的服务器上,来缓解高并发访问,均衡负载。 举例来说一下,比如说一个collection有TB级别的数据,在传统方式下如果有两个线程要访问其中的数据,即使这个线程访问的数据是不同的,为保证同步需要排队等待,分片机制可以很好的解决这个问题,分片机制其实就是分布式的集群,比如现在有五台服务器作为集群,mongodb可以将一个collection的数据分割成5个片---chunk 分别存放到5个server并且mongodb还会记录下每一条数据的位置,这样一来当用户访问集合里面的文档时,mongodb可以根据请求条件来查找到对应数据所在的服务器然后返回数据,这样下来可以将多请求的负责分摊到各个服务器的分片上,大大提高数据库系统的吞吐量。
二、几种集群方案
2.1 最小的无副本2分片集群部署方式
config * 1
mongos * 1
mongod:(shard1 * 1)+(shard2 *1)
2.2 生产环境建议的最小集群部署方式
config * 3
mongos * 3
mongod:(shard1 * 3)+(shard2 *3)+(shardN *3)
三、部署
3.1 config
运行脚本:
docker run \
-v /data/mongo4/bind/configsvr/mongod.conf:/etc/mongodb/mongod.conf \
-v /data/mongo4/bind/configsvr/db:/data/db \
--name mongo4-config-27019 \
-e TZ=Asia/Shanghai \
--privileged=true \
--net=host \
-d mongo:4 -f /etc/mongodb/mongod.conf
mongod.conf
storage:
dbPath: /data/db
journal:
enabled: true
systemLog:
destination: file
logAppend: true
path: /var/log/mongodb/mongod.log
net:
port: 27019
bindIp: 0.0.0.0
processManagement:
timeZoneInfo: /usr/share/zoneinfo
replication:
replSetName: cfg
sharding:
clusterRole: configsvr
3.2 mongs
运行脚本
docker run \
-v /data/mongo4/bind/mongos:/etc/mongodb \
--name mongo4-mongos-27017 \
-e TZ=Asia/Shanghai \
--privileged=true \
--net=host \
--entrypoint mongos \
-d mongo:4 -f /etc/mongodb/mongos.conf
mongos.cnf
systemLog:
destination: file
logAppend: true
path: /var/log/mongodb/mongos.log
net:
port: 27017
bindIp: 0.0.0.0
processManagement:
timeZoneInfo: /usr/share/zoneinfo
sharding:
configDB: config副本ID/configip1:configip1_port,configip2:configip2_port,configip3:configip3_port
3.3 mongod
运行脚本
docker run \
-v /data/mongo4/bind/副本集名称/mongod.conf:/etc/mongodb/mongod.conf \
-v /data/mongo4/bind/副本集名称/db:/data/db \
--name mongo4-shard1-27018 \
-e TZ=Asia/Shanghai \
--privileged=true \
--net=host \
-d mongo:4 -f /etc/mongodb/mongod.conf
mongod.conf
storage:
dbPath: /data/db
journal:
enabled: true
systemLog:
destination: file
logAppend: true
path: /var/log/mongodb/mongod.log
net:
port: 27018
bindIp: 0.0.0.0
processManagement:
timeZoneInfo: /usr/share/zoneinfo
replication:
replSetName: 副本名称,一个副本集的名称必须一样,不同副本集的名称必须不一样
sharding:
clusterRole: shardsvr
四、集群配置
4.1 config 副本集群配置(单机则忽略此步骤)
选择任意一个config实例,进入mongo shell执行
rs.initiate({
"_id":"副本ID,一个副本集中唯一,例如:cfg",
"members":[
{
"_id":0,
"host":"副本实例1的IP:副本实例1的端口"
},
{
"_id":1,
"host":"副本实例2的IP:副本实例2的端口"
},
{
"_id":2,
"host":"副本实例3的IP:副本实例3的端口"
}
]
})
如果返回的ok值是1,则表示配置成功。
4.2 mongod 分片集群配置(无副本,多分片)
逐个进入mongod的mongo shell执行
rs.initiate({
"_id":"分片ID,如果是多副本,则每个副本集的分片ID相同",
"members":[
{
"_id":0,
"host":"分片实例1的IP:分片实例1的 端口"
}
]
})
如果返回的ok值是1,则表示配置成功。
4.3 配置mongos副本集
选择任意一个mongos实例,进入mongo shell执行
sh.addShard("分片ID/分片实例1的IP: 分片实例1的 端口");
有几个实例就执行几个脚本
五、数据库配置和测试
选择任意一个mongod实例,进入mongo shell执行
5.1 创建数据库和用户
use 数据库名称
因为没有插入数据,执行完此脚本后用show dbs并不能看到新建的数据库,但是不影响后续使用。
db.createUser({ user: '用户名', pwd: '用户密码', roles: [ { role: "dbOwner", db: "数据库名称" } ] });
db.auth('用户名','用户密码');
返回1表示验证成功,通过命令可查看当前数据库的用户
show users
删除用户
use admin
db.system.users.remove({_id:"用户id"})
5.2 数据库启用分片
sh.enableSharding("数据库名称");
查看分片状态
db.printShardingStatus();
查看数据库状态
db.stats();
5.3 创建集合,索引和设置分片字段
db.集合名称.createIndex({"索引字段":1});
sh.shardCollection("数据库名称.集合名称",{"分片字段":"hashed"});
查看分片状态
db.集合名称.stats().sharded
返回true表示已分片
5.4 测试
插入数据
for(var i=1;i<=1000;i++) db.集合名称.insert({"字段1":"字段值","分片字段":"T"+i});
查看数据库状态
db.stats();
可看到每个分片上的数据量
删除测试数据
db.集合名称.remove({});