系统配置
Limit配置
操作系统默认的limit限制非常小，在实际生产运行过程中容易出现文件描述符不足或线程数不足问题，因此可以手动设置一个较大的值
[root@t-luhx01-v-szzb ~]# cat /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535
关闭selinux
selinux是一个安全配置，开启可能导致数据库连接失败，建议关闭。
[root@t-luhx01-v-szzb ~]# setenforce 0
[root@t-luhx01-v-szzb ~]# vi /etc/sysconfig/selinux
SELINUX=disabled
禁用transparent_hugepage
Transparent Huge Pages(THP)是Linux的一种内存管理优化手段，通过使用更大的内存页来减少Translation Lookaside Buffer(TLB)的额外开销，但针对数据库随机读写的场景不是特别合适，建议关闭。
[root@t-luhx01-v-szzb ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@t-luhx01-v-szzb ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@t-luhx01-v-szzb ~]# echo "echo never > /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local
[root@t-luhx01-v-szzb ~]# echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local
禁用NUMA
NUMA：Non-Uniform Memory Access是一种内存管理技术，将多核处理器的操作系统上的资源分为多个NODE，每个进程会分配到一个NODE上，当NODE的内存不足时，会利用SWAP进行缓存，导致数据库性能下降。建议在进程启动时将其关闭或在内核中全局关闭
[root@t-luhx01-v-szzb ~]# sysctl -w vm.zone_reclaim_mode = 0
[root@t-luhx01-v-szzb ~]# numactl --interleave=all /usr/local/mongodb/bin/mongod .....
设置readhead
MongoDB为随机IO，readhead应该设置为一个较小的值来减少内存占用，通常考虑设置为8~32
[root@t-luhx01-v-szzb ~]# blockdev --report
RO RA SSZ BSZ StartSec Size Device
rw 8192 512 4096 0 42949672960 /dev/sda
rw 8192 512 1024 2048 419430400 /dev/sda1
rw 8192 512 4096 821248 42529193984 /dev/sda2
[root@t-luhx01-v-szzb ~]# blockdev --setra 16 /dev/mapper/dbvg-dblv
设置磁盘调度策略
磁盘调度策略建议在虚拟化或SSD的环境中采用noop，也可以使用deadline
[root@t-luhx01-v-szzb ~]# grubby --update-kernel=ALL --args="elevator=noop"
内核参数设置
[root@t-luhx01-v-szzb ~]# cat >> /etc/sysctl.conf << EOF
fs.file-max=98000
kernel.pid_max=64000
kernel.threads-max=64000
vm.max_map_count=128000
net.ipv4.tcp_keepalive_time=300
EOF
数据磁盘
MongoDB数据磁盘建议采用RAID10+SSD来保障数据安全及性能，文件系统格式官方建议采用XFS。另外，建议将journal日志和实例日志划分单独的卷进行存放，避免占用数据盘的IO资源。但journal不支持指定路径，可以采用符号连接来完成。
针对文件系统设置，可以考虑进一步禁用atime，避免频繁更新文件的访问时间，提升文件读取性能。
MongoDB安装
下载介质
MongoDB Community Download | MongoDB
解压安装包
[root@t-luhx01-v-szzb ~]# tar -xvf mongodb-linux-x86_64-rhel62-4.0.0.tgz -C /usr/local/
[root@t-luhx01-v-szzb ~]# mv /usr/local/mongodb-linux-x86_64-rhel62-4.0.0 /usr/local/mongodb
创建数据目录
[root@t-luhx01-v-szzb ~]# mkdir /service/mongodb/data
[root@t-luhx01-v-szzb ~]# mkdir /service/mongodb/log
配置参数文件
systemLog:
destination: file
path: "/service/mongodb/logs/mongod.log"
logAppend: true
logRotate: rename
timeStampFormat: iso8601-local
storage:
dbPath: "/service/mongodb/data"
journal:
enabled: true
commitIntervalMs: 100
directoryPerDB: true
syncPeriodSecs: 60
engine: wiredTiger
wiredTiger:
engineConfig:
## recommend：About 60% of physical memory
cacheSizeGB: 2
processManagement:
fork: true
pidFilePath: "/service/mongodb/data/mongod.pid"
net:
bindIp: 10.0.139.161
port: 27017
maxIncomingConnections: 10000
operationProfiling:
mode: slowOp
slowOpThresholdMs: 200
setParameter:
enableLocalhostAuthBypass: false
配置环境变量
[root@t-luhx01-v-szzb ~]# echo "export PATH=$PATH:/usr/local/mongodb/bin" >>/etc/profile
启动数据库
[root@t-luhx01-v-szzb ~]# numactl --interleave=all /usr/local/mongodb/bin/mongod --config /etc/mongodb/config.conf
创建root用户
[root@t-luhx01-v-szzb ~]# mongo --port 27017
>use admin
>db.createUser(
{
user:"root",
pwd:"abcd123#",
roles:[{role:"root",db:"admin"}] })
重启实例
[root@t-luhx01-v-szzb ~]# mongod --config /etc/mongodb/config.conf --shutdown
[root@t-luhx01-v-szzb ~]# numactl --interleave=all /usr/local/mongodb/bin/mongod --config /etc/mongodb/config.conf
replset副本集配置
资源清单
架构采用一主一从一仲裁
| IP | PORT | ROLE |
|---|---|---|
| 10.0.139.161 | 27017 | Primary |
| 10.0.139.162 | 27017 | Secondary |
| 10.0.139.163 | 27017 | Arbiter |
配置认证密钥
需要在主节点生成随机KEY文件并复制到其它节点上，并且登录用户密码必须与主节点一致
[root@t-luhx01-v-szzb ~]# openssl rand -base64 756 > /service/mongodb/key/rsa_key
[root@t-luhx01-v-szzb ~]# chmod 600 /service/mongodb/key/rsa_key
添加复制参数
security:
keyFile: "/service/mongodb/key/rsa_key"
authorization: enabled
replication:
oplogSizeMB: 20480
replSetName: shard1
重启数据库
[root@t-luhx01-v-szzb ~]# mongod -u--config /etc/mongodb/config.conf --shutdown
[root@t-luhx01-v-szzb ~]# numactl --interleave=all mongod --config /etc/mongodb/config.conf
初始化副本集
[root@t-luhx01-v-szzb ~]# mongo -u "root" -p "abcd123#" --authenticationDatabase "admin" --host 10.0.139.161 --port 27017
> config = {_id: 'repl01', members: [{_id: 0, host: '10.0.139.161:27017'},{_id: 1, host: '10.0.139.162:27017'},{_id: 2, host: '10.0.139.163:27017', arbiterOnly: true}]}
> rs.initiate(config)
查看副本集状态
repl01:PRIMARY>rs.status()
