系统配置

Limit配置
操作系统默认的limit限制非常小，在实际生产运行过程中容易出现文件描述符不足或线程数不足问题，因此可以手动设置一个较大的值

[root@t-luhx01-v-szzb ~]# cat /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535
* soft nproc 65535
* hard nproc 65535

关闭selinux
selinux是一个安全配置，开启可能导致数据库连接失败，建议关闭。

[root@t-luhx01-v-szzb ~]# setenforce 0
[root@t-luhx01-v-szzb ~]# vi /etc/sysconfig/selinux
SELINUX=disabled

禁用transparent_hugepage
Transparent Huge Pages(THP)是Linux的一种内存管理优化手段，通过使用更大的内存页来减少Translation Lookaside Buffer(TLB)的额外开销，但针对数据库随机读写的场景不是特别合适，建议关闭。

[root@t-luhx01-v-szzb ~]# echo never >  /sys/kernel/mm/transparent_hugepage/enabled
[root@t-luhx01-v-szzb ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag
[root@t-luhx01-v-szzb ~]# echo "echo never >  /sys/kernel/mm/transparent_hugepage/enabled" >> /etc/rc.local
[root@t-luhx01-v-szzb ~]# echo "echo never > /sys/kernel/mm/transparent_hugepage/defrag" >> /etc/rc.local

禁用NUMA
NUMA：Non-Uniform Memory Access是一种内存管理技术，将多核处理器的操作系统上的资源分为多个NODE，每个进程会分配到一个NODE上，当NODE的内存不足时，会利用SWAP进行缓存，导致数据库性能下降。建议在进程启动时将其关闭或在内核中全局关闭

[root@t-luhx01-v-szzb ~]# sysctl -w vm.zone_reclaim_mode = 0
[root@t-luhx01-v-szzb ~]# numactl --interleave=all /usr/local/mongodb/bin/mongod .....

设置readhead
MongoDB为随机IO，readhead应该设置为一个较小的值来减少内存占用，通常考虑设置为8~32

[root@t-luhx01-v-szzb ~]# blockdev --report
RO    RA   SSZ   BSZ   StartSec            Size   Device
rw  8192   512  4096          0     42949672960   /dev/sda
rw  8192   512  1024       2048       419430400   /dev/sda1
rw  8192   512  4096     821248     42529193984   /dev/sda2

[root@t-luhx01-v-szzb ~]# blockdev --setra 16 /dev/mapper/dbvg-dblv

设置磁盘调度策略
磁盘调度策略建议在虚拟化或SSD的环境中采用noop，也可以使用deadline

[root@t-luhx01-v-szzb ~]# grubby --update-kernel=ALL --args="elevator=noop"

内核参数设置

[root@t-luhx01-v-szzb ~]# cat >> /etc/sysctl.conf << EOF
fs.file-max=98000
kernel.pid_max=64000
kernel.threads-max=64000
vm.max_map_count=128000
net.ipv4.tcp_keepalive_time=300
EOF

数据磁盘
MongoDB数据磁盘建议采用RAID10+SSD来保障数据安全及性能，文件系统格式官方建议采用XFS。另外，建议将journal日志和实例日志划分单独的卷进行存放，避免占用数据盘的IO资源。但journal不支持指定路径，可以采用符号连接来完成。

针对文件系统设置，可以考虑进一步禁用atime，避免频繁更新文件的访问时间，提升文件读取性能。

MongoDB安装

下载介质

MongoDB Community Download | MongoDB

解压安装包

[root@t-luhx01-v-szzb ~]# tar -xvf mongodb-linux-x86_64-rhel62-4.0.0.tgz -C /usr/local/
[root@t-luhx01-v-szzb ~]# mv /usr/local/mongodb-linux-x86_64-rhel62-4.0.0 /usr/local/mongodb

创建数据目录

[root@t-luhx01-v-szzb ~]# mkdir /service/mongodb/data
[root@t-luhx01-v-szzb ~]# mkdir /service/mongodb/log

配置参数文件

systemLog:
  destination: file
  path: "/service/mongodb/logs/mongod.log"
  logAppend: true
  logRotate: rename
  timeStampFormat: iso8601-local
storage:
  dbPath: "/service/mongodb/data"
  journal:
    enabled: true
    commitIntervalMs: 100
  directoryPerDB: true
  syncPeriodSecs: 60
  engine: wiredTiger
  wiredTiger:
    engineConfig:
      ## recommend：About 60% of physical memory 
      cacheSizeGB: 2
processManagement:
  fork: true
  pidFilePath: "/service/mongodb/data/mongod.pid"
net:
  bindIp: 10.0.139.161
  port: 27017
  maxIncomingConnections: 10000
operationProfiling:
  mode: slowOp
  slowOpThresholdMs: 200
setParameter:
  enableLocalhostAuthBypass: false

配置环境变量

[root@t-luhx01-v-szzb ~]# echo "export PATH=$PATH:/usr/local/mongodb/bin" >>/etc/profile

启动数据库

[root@t-luhx01-v-szzb ~]# numactl --interleave=all /usr/local/mongodb/bin/mongod --config /etc/mongodb/config.conf

创建root用户

[root@t-luhx01-v-szzb ~]# mongo --port 27017
>use admin
>db.createUser(
{
user:"root",
pwd:"abcd123#",
        roles:[{role:"root",db:"admin"}] })

重启实例

[root@t-luhx01-v-szzb ~]# mongod --config /etc/mongodb/config.conf --shutdown
[root@t-luhx01-v-szzb ~]# numactl --interleave=all /usr/local/mongodb/bin/mongod --config /etc/mongodb/config.conf

replset副本集配置

资源清单

架构采用一主一从一仲裁

配置认证密钥
需要在主节点生成随机KEY文件并复制到其它节点上，并且登录用户密码必须与主节点一致

[root@t-luhx01-v-szzb ~]# openssl rand -base64 756 > /service/mongodb/key/rsa_key
[root@t-luhx01-v-szzb ~]# chmod 600 /service/mongodb/key/rsa_key

添加复制参数

security:
  keyFile: "/service/mongodb/key/rsa_key"
  authorization: enabled
replication:
  oplogSizeMB: 20480
  replSetName: shard1

重启数据库

[root@t-luhx01-v-szzb ~]# mongod -u--config /etc/mongodb/config.conf --shutdown
[root@t-luhx01-v-szzb ~]# numactl --interleave=all mongod --config /etc/mongodb/config.conf

初始化副本集

[root@t-luhx01-v-szzb ~]# mongo -u "root" -p "abcd123#" --authenticationDatabase "admin" --host 10.0.139.161 --port 27017
> config = {_id: 'repl01', members: [{_id: 0, host: '10.0.139.161:27017'},{_id: 1, host: '10.0.139.162:27017'},{_id: 2, host: '10.0.139.163:27017', arbiterOnly: true}]}
> rs.initiate(config)

查看副本集状态

repl01:PRIMARY>rs.status()

参考链接

production-notes
production-checklist-operations