mongodb 分片副本集群

1.博客教程

https://www.jb51.net/article/167276.htm

2.镜像下载：

wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-rhel62-v3.4-latest.tgz

防火墙：

service iptables status

yum install -y iptables

yum update iptables

yum install iptables-services

systemctl stop firewalld

systemctl mask firewalld

iptables -L -n

iptables -P INPUT ACCEPT

iptables -F

iptables -X

iptables -Z

iptables -P INPUT ACCEPT

iptables -P OUTPUT ACCEPT

iptables -P FORWARD ACCEPT

service iptables save

systemctl enable iptables.service

systemctl start iptables.service

systemctl status iptables.service

service iptables save

service iptables reload

iptables -L -n

3. 端口规划：

replica server

第一个副本集rs1

share1 127.0.0.1:30011:/data/share_rs/share_rs1/share1/data/

share2 127.0.0.1:40011:/data/share_rs/share_rs1/share2/data/

share3 127.0.0.1:50011:/data/share_rs/share_rs1/share3/data/

第二个副本集rs2

share1 127.0.0.1:30012:/data/share_rs/share_rs2/share1/data/

share2 127.0.0.1:40012:/data/share_rs/share_rs2/share2/data/

share3 127.0.0.1:50012:/data/share_rs/share_rs2/share3/data/

第三个副本集rs3

share1 127.0.0.1:30013:/data/share_rs/share_rs3/share1/data/

share2 127.0.0.1:40013:/data/share_rs/share_rs3/share2/data/

share3 127.0.0.1:50013:/data/share_rs/share_rs3/share3/data/

config server

config1 127.0.0.1:30002:/data/share_rs/config/config1/data/

config2 127.0.0.1:40002:/data/share_rs/config/config2/data/

config3 127.0.0.1:50002:/data/share_rs/config/config3/data/

mongos prox server

mongos1 127.0.0.1:30001:/data/share_rs/mongos/mongos1/data/

mongos2 127.0.0.1:40001:/data/share_rs/mongos/mongos2/data/

mongos3 127.0.0.1:50001:/data/share_rs/mongos/mongos3/data/

配置MongoDB环境变量：

vi /etc/profile

export MONGODB_HOME=/usr/local/mongodb

export PATH=$PATH:$MONGODB_HOME/bin

保存后，重启系统配置

source /etc/profile

启动三台服务器的config server

mongod -f /data/share_rs/config/config1/mongo.conf

mongod -f /data/share_rs/config/config2/mongo.conf

mongod -f /data/share_rs/config/config3/mongo.conf

登录任意一台配置服务器，初始化配置副本集

#连接

mongo --port 30002

连接不上的话：

1）到控制台放开所有端口

2）重置iptables，并放开所有

#config变量

rs.initiate({_id:"cfgReplSet",configsvr:true,members:[{_id:0,host:"127.0.0.1:30002"},{_id:1,host:"127.0.0.1:40002"},{_id:2,host:"127.0.0.1:50002"}]})

其中，”_id” : “configs”应与配置文件中配置的 replicaction.replSetName 一致，”members” 中的 “host” 为三个节点的 ip 和 port

启动各个分片以及相应的副本

mongod -f /data/share_rs/share_rs1/share1/mongo.conf

mongod -f /data/share_rs/share_rs1/share2/mongo.conf

mongod -f /data/share_rs/share_rs1/share3/mongo.conf

mongod -f /data/share_rs/share_rs2/share1/mongo.conf

mongod -f /data/share_rs/share_rs2/share2/mongo.conf

mongod -f /data/share_rs/share_rs2/share3/mongo.conf

mongod -f /data/share_rs/share_rs3/share1/mongo.conf

mongod -f /data/share_rs/share_rs3/share2/mongo.conf

mongod -f /data/share_rs/share_rs3/share3/mongo.conf

设置副本集

mongo --port 30011

第一个副本集rs1

rs.initiate({_id:"rs1",members:[{_id:0,host:"127.0.0.1:30011"},{_id:1,host:"127.0.0.1:40011"},{_id:2,host:"127.0.0.1:50011"}]})

mongo --port 30012

第一个副本集rs2

rs.initiate({_id:"rs2",members:[{_id:0,host:"127.0.0.1:30012"},{_id:1,host:"127.0.0.1:40012"},{_id:2,host:"127.0.0.1:50012"}]})

mongo --port 30013

第一个副本集rs3

rs.initiate({_id:"rs3",members:[{_id:0,host:"127.0.0.1:30013"},{_id:1,host:"127.0.0.1:40013"},{_id:2,host:"127.0.0.1:50013"}]})

依次启动三体mongos服务器

mongos -f /data/share_rs/mongos/mongos1/mongo.conf

mongos -f /data/share_rs/mongos/mongos2/mongo.conf

mongos -f /data/share_rs/mongos/mongos3/mongo.conf

5、启用分片

目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，不过应用程序连接到mongos路由服务器并不能使用分片机制，还需要在程序里设置分片配置，让分片生效。

登录任意一台路由服务器

mongo --port 30001

#使用admin数据库

use admin;

#串联路由服务器与分配副本集

sh.addShard("rs1/127.0.0.1:30011,127.0.0.1:40011,127.0.0.1:50011")

sh.addShard("rs2/127.0.0.1:30012,127.0.0.1:40012,127.0.0.1:50012")

sh.addShard("rs3/127.0.0.1:30013,127.0.0.1:40013,127.0.0.1:50013")

#查看集群状态

sh.status()

6.springboot连接shard集群

1）无用户名密码，只能连接admin数据库进行操作

spring.data.mongodb.uri=mongodb://127.0.0.1:30002,127.0.0.1:40002,127.0.0.1:50002/admin

其他数据库会报错：

can't create user databases on a --configsvr instance

2）

(1) configserver集群

#主节点操作

mongo --port 30001

use admin

db.createUser({user:"root", pwd:"pwd123", roles:[{role: "root", db:"admin" }]}) #root账号(超级管理员)

use admin

db.createUser({user:"admin", pwd:"pwd123", roles:[{role: "userAdminAnyDatabase", db:"admin" }]}) #管理员账号

use admin

db.createUser({user:"clusteradmin", pwd:"pwd123", roles:[{role: "clusterAdmin", db:"admin" }]}) #集群管理账号

(2) sharding集群的主节点(sharding节点设置,主要用于单独登陆分片节点的副本集集群时使用,业务库的账号,在mongos上建立即可)

是否是主节点，登录进去看是否显示是primary即可；

mongo --port 30011

use admin

db.createUser({user:"root", pwd:"pwd123", roles:[{role: "root", db:"admin" }]}) #root账号(超级管理员)

use admin

db.createUser({user:"admin", pwd:"pwd123", roles:[{role: "userAdminAnyDatabase", db:"admin" }]}) #管理员账号

use admin

db.createUser({user:"clusteradmin", pwd:"pwd123", roles:[{role: "clusterAdmin", db:"admin" }]}) #集群管理账号

mongo --port 30012

use admin

db.createUser({user:"root", pwd:"pwd123", roles:[{role: "root", db:"admin" }]}) #root账号(超级管理员)

use admin

db.createUser({user:"admin", pwd:"pwd123", roles:[{role: "userAdminAnyDatabase", db:"admin" }]}) #管理员账号

use admin

db.createUser({user:"clusteradmin", pwd:"pwd123", roles:[{role: "clusterAdmin", db:"admin" }]}) #集群管理账号

mongo --port 30013

use admin

db.createUser({user:"root", pwd:"pwd123", roles:[{role: "root", db:"admin" }]}) #root账号(超级管理员)

use admin

db.createUser({user:"admin", pwd:"pwd123", roles:[{role: "userAdminAnyDatabase", db:"admin" }]}) #管理员账号

use admin

db.createUser({user:"clusteradmin", pwd:"pwd123", roles:[{role: "clusterAdmin", db:"admin" }]}) #集群管理账号

8.修改各个节点配置文件中认证相关配置

创建秘钥文件：

openssl rand -base64 64 > mongodb_keyfile 注意生成路径和文件名保持和配置文件中的一致

chmod 600 mongodb-keyfile 注意必须是600，否则后续启动时候会报错permissions on ****** are too open

vim config/config1/mongo.conf

vim config/config2/mongo.conf

vim config/config3/mongo.conf

vim mongos/mongos1/mongo.conf

vim mongos/mongos2/mongo.conf

vim mongos/mongos3/mongo.conf

vim share_rs1/share1/mongo.conf

vim share_rs1/share2/mongo.conf

vim share_rs1/share3/mongo.conf

vim share_rs2/share1/mongo.conf

vim share_rs2/share2/mongo.conf

vim share_rs2/share3/mongo.conf

vim share_rs3/share1/mongo.conf

vim share_rs3/share2/mongo.conf

vim share_rs3/share3/mongo.conf

关闭所有进程：

killall mongod

killall mongos

删除lock文件：

rm -rf /data/share_rs/config/config1/data/mongod.lock

rm -rf /data/share_rs/config/config2/data/mongod.lock

rm -rf /data/share_rs/config/config3/data/mongod.lock

rm -rf /data/share_rs/share_rs1/share1/data/mongod.lock

rm -rf /data/share_rs/share_rs1/share2/data/mongod.lock

rm -rf /data/share_rs/share_rs1/share3/data/mongod.lock

rm -rf /data/share_rs/share_rs2/share1/data/mongod.lock

rm -rf /data/share_rs/share_rs2/share2/data/mongod.lock

rm -rf /data/share_rs/share_rs2/share3/data/mongod.lock

rm -rf /data/share_rs/share_rs3/share1/data/mongod.lock

rm -rf /data/share_rs/share_rs3/share2/data/mongod.lock

rm -rf /data/share_rs/share_rs3/share3/data/mongod.lock

重启服务器：

mongod -f /data/share_rs/config/config1/mongo.conf

mongod -f /data/share_rs/config/config2/mongo.conf

mongod -f /data/share_rs/config/config3/mongo.conf

mongod -f /data/share_rs/share_rs1/share1/mongo.conf

mongod -f /data/share_rs/share_rs1/share2/mongo.conf

mongod -f /data/share_rs/share_rs1/share3/mongo.conf

mongod -f /data/share_rs/share_rs2/share1/mongo.conf

mongod -f /data/share_rs/share_rs2/share2/mongo.conf

mongod -f /data/share_rs/share_rs2/share3/mongo.conf

mongod -f /data/share_rs/share_rs3/share1/mongo.conf

mongod -f /data/share_rs/share_rs3/share2/mongo.conf

mongod -f /data/share_rs/share_rs3/share3/mongo.conf

mongos -f /data/share_rs/mongos/mongos1/mongo.conf

mongos -f /data/share_rs/mongos/mongos2/mongo.conf

mongos -f /data/share_rs/mongos/mongos3/mongo.conf

使用集群管理账号认证

db.auth("clusteradmin","pwd123")

db.auth("admin","pwd123");

db.auth("root","pwd123") --权限最高

spring.data.mongodb.uri=mongodb://root:pwd123@127.0.0.1:30001,127.0.0.1:40001,127.0.0.1:50001/admin

6.测试

目前配置服务、路由服务、分片服务、副本集服务都已经串联起来了，但我们的目的是希望插入数据，数据能够自动分片。连接在mongos上，准备让指定的数据库、指定的集合分片生效。

use admin;//必须先使用admin，才能操作enablesharding命令

db.auth("root","pwd123")

db.runCommand( { enablesharding :"db1"});

use db1;

db.createCollection("tmp", {size: 20, capped: 5, max: 100});

db.createUser({user:"dbOwner",pwd:"pwd123",roles:[{role:"dbOwner",db:"db1"}]})

db.createUser({user:"root", pwd:"pwd123", roles:[{role: "root", db:"db1" }]}) --执行失败

db.auth("dbOwner","pwd123")

sh.shardCollection("db1.user",{_id:"hashed"})

for (var i = 1; i<=40; i++){ db.user.save({"_id":new String(i)),"name":"harvey"})};

====================================

查看该集合的状态

db.user.stats();

====================================

sh.shardCollection("db1.userRole",{_id:"hashed"})

====================================

查看该集合的状态

db.userRole.stats();

====================================

db.table1.ensureIndex({"_id":"hashed"})

sh.shardCollection("db1.table1",{_id:"hashed"})

db.table2.ensureIndex({"_id":"hashed"})

sh.shardCollection("db1.table2",{_id:"hashed"})

db.table3.ensureIndex({"_id":"hashed"})

sh.shardCollection("db1.table3",{_id:"hashed"})

最后编辑于：2019.11.07 23:28:53

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 212,332评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,508评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 157,812评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,607评论 1赞 284
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,728评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,919评论 1赞 290
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,071评论 3赞 410
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,802评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,256评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,576评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,712评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,389评论 4赞 332
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,032评论 3赞 316
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,798评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,026评论 1赞 266
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,473评论 2赞 360
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,606评论 2赞 350

mongodb 分片副本集群

推荐阅读更多精彩内容