HAproxy+keepalived+mysql构建高可用数据库
1、概况
1.1 应用场景
Nginx/LVS/HAProxy的基于Linux的开源免费的负载均衡软件。对于大型的，需要进行高并发的网站或者对网络不太严格的场景，可以使用Nginx；对于大型的Web服务器的时候可以使用Haproxy；对性能有严格要求的时候可以使用LVS，就单纯从负载均衡的角度来说，LVS也许会成为主流，更适合现在大型的互联网公司。本文采用HAproxy+keepalived+mysql主从方案来解决业务架构高可用。
1.2 LVS/Nginx/HAProxy特点
LVS
1)抗负载能力强、是工作在网络4层之上仅作分发之用，没有流量的产生，这个特点也决定了它在负载均衡软件里的性能最强的；
2)配置性比较低，这是一个缺点也是一个优点，因为没有可太多配置的东西，所以并不需要太多接触，大大减少了人为出错的几率；
3)工作稳定，自身有完整的双机热备方案，如LVS+Keepalived和LVS+Heartbeat，不过我们在项目实施中用得最多的还是LVS/DR+Keepalived；
4)无流量，保证了均衡器IO的性能不会收到大流量的影响；
5)应用范围比较广，可以对所有应用做负载均衡；
6)软件本身不支持正则处理，不能做动静分离，这个就比较遗憾了；其实现在许多网站在这方面都有较强的需求，这个是Nginx/HAProxy+Keepalived的优势所在。
7)如果是网站应用比较庞大的话，实施LVS/DR+Keepalived起来就比较复杂了，特别后面有Windows Server应用的机器的话，如果实施及配置还有维护过程就比较复杂了。
Nginx
1)工作在网络的7层之上，可以针对http应用做一些分流的策略，比如针对域名、目录结构，它的正则规则比HAProxy更为强大和灵活，这也是许多朋友喜欢它的原因之一；
2)Nginx对网络的依赖非常小，理论上能ping通就就能进行负载功能，这个也是它的优势所在；
3)Nginx安装和配置比较简单，测试起来比较方便；
4)也可以承担高的负载压力且稳定，一般能支撑超过几万次的并发量；
5)Nginx可以通过端口检测到服务器内部的故障，比如根据服务器处理网页返回的状态码、超时等等，并且会把返回错误的请求重新提交到另一个节点，不过其中缺点就是不支持url来检测；
6)Nginx仅能支持http和Email，这样就在适用范围上面小很多，这个它的弱势；
7)Nginx不仅仅是一款优秀的负载均衡器/反向代理软件，它同时也是功能强大的Web应用服务器。LNMP现在也是非常流行的web架构，大有和以前最流行的LAMP架构分庭抗争之势，在高流量的环境中也有很好的效果。
8)Nginx现在作为Web反向加速缓存越来越成熟了，很多朋友都已在生产环境下投入生产了，而且反映效果不错，速度比传统的Squid服务器更快，有兴趣的朋友可以考虑用其作为反向代理加速器。
HAProxy
1)支持两种代理模式：TCP（四层）和HTTP（七层）HAProxy是支持虚拟主机的。
2)能够补充Nginx的一些缺点比如Session的保持，Cookie的引导等工作
3)支持url检测后端的服务器出问题的检测会有很好的帮助。
4)它跟LVS一样，本身仅仅就只是一款负载均衡软件；单纯从效率上来讲HAProxy更会比Nginx有更出色的负载均衡速度，在并发处理上也是优于Nginx的。
5)HAProxy可以对Mysql读进行负载均衡，对后端的MySQL节点进行检测和负载均衡，不过在后端的MySQL slaves数量超过10台时性能不如LVS。
6)HAProxy的算法现在也越来越多了，算法特别灵活
2、相关理论
2.1 Keepalived工作原理
keepalived：顾名思义是保持存活，常用来搭建设备的高可用，防止业务核心设备出现单点故障。keepalived基于VRRP协议来实现高可用，主要用作realserver的健康检查以及负载均衡主机和backup主机之间的故障漂移。如果将TCP/IP划分为5层，则Keepalived就是一个类似于3~5层交换机制的软件，具有3~5层交换功能，其主要作用是检测web服务器的状态，如果某台web服务器故障，Keepalived将检测到并将其从系统中剔除，当该web服务器工作正常后Keepalived自动将其加入到服务器群中，这些工作全部自动完成，而不需要人工干预，只需要人工修复故障的web服务器即可。
三层机理是发送ICMP数据包即PING给某台服务器，如果不通，则认为其故障，并从服务器群中剔除；四层机理是检测TCP端口号状态来判断某台服务器是否故障，如果检测端口存在异常，则从服务器群中剔除；五层机理是根据用户的设定检查某个服务器应用程序是否正常运行，如果不正常，则从服务器群中剔除。
2.2 HAproxy工作原理
Haproxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案，反向代理服务器,支持双机热备支持虚拟主机,但其配置简单,拥有非常不错的服务器健康检查功能,当其代理的后端服务器出现故障, HAProxy会自动将该服务器摘除,故障恢复后再自动将该服务器加入。
3、架构拓扑
4、资源规划
主机名称IP操作系统
haproxy1192.168.74.126Centos7 64位
haproxy2192.168.74.127Centos7 64位
mysql1192.168.74.128Centos7 64位
mysql2192.168.74.129Centos7 64位
VIP192.168.74.150\
软/硬件选型
企业大数据系统在软/硬件选型方面将遵循两个原则：一是硬件上将遵循“同品牌、同型号、同配置”的原则，不因应用系统或分布式系统的不同而不同；二是软件上将遵偱“同操作系统、同JVM 虚拟机、同系统账户体系”的原则。
推荐硬件选型如表1-1 所示。
表1-1 推荐硬件选型列表
品牌：用户自定
设备名：节点机
配置：
CPU:2个4核，主频为2.4GHz以上
内存：16G
硬盘：500G
网卡：千兆
备注：数据中心的所有节点机器配置基本相同
每个节点的基础软件选型如表1-2所示。
表1-2 节点基础软件选型列表
操作系统：Centos7 64位
Mysql：mysql-5.7.X
HAproxy：haproxy-1.8.X
keepalived：keepalived-1.2.X
目录配置：统一自定安装目录，统一环境配置
应用服务器对只读的应用程序连接虚拟IP地址，连接到haproxy，然后通过haproxy将TCP协议转移到下面的2个MySQL主从数据库服务器中。Haproxy在此做4层的TCP交换服务。keepalived为了防止haproxy单点故障。这里可以使用两个VIP（虚拟IP）实现haproxy代理服务器的高可用负载均衡。
5、安装介质
CentOS操作系统版本：CentOS-7-x86_64-DVD-1511.iso
mysql版本：mysql-5.7.22-linux-glibc2.12-x86_64.tar
HAproxy版本：haproxy-1.8.14.tar.gz
keepalived版本：keepalived-1.2.7.tar.gz
6、准备工作（每台机器）
安装之前，如果之前安装过mysql，那么需要删除相应的各种mysql文件，删除之前请停止mysql服务。并且不要忘记删除my.cnf这些配置文件。确保删除干净。不然可能会和后面的安装有冲突。如果是实验，关闭防火墙，实际中，防火墙打开对应端口（注意实际中需要使用的端口不只有3306端口，还有同步需要使用的6677端口）。保证服务器之前能互相访问，能ping通。保证固定的ip地址。保证没有别的程序占用需要使用的端口。如3306等。这些都确认完毕后再进行安装。
6.1关闭防火墙
systemctl stopfirewalld.service
systemctl disablefirewalld.service
6.2挂载光盘（每台机器）
mount /dev/cdrom /mnt
删除原有的yum的源
cd /etc/yum.repos.d/
rm -rf *
创建自己的源vi my.repo
[centos-yum]
baseurl=file:///mnt
enabled=1
gpgcheck=0
6.3NTP服务需要每台机器进行安装（时间同步）
yum install ntp
systemctl is-enabledntpd
systemctl enable ntpd
systemctl start ntpd
7、安装mysql
以下的所有操作需要在所有的集群节点（128/129）都要进行相同的操作
7.1新增用户组mysql和用户msyql
groupadd mysql
useradd -g mysql -s/bin/false mysql
新建文件夹并赋予权限
mkdir /var/lib/mysql
chown root:mysql/var/lib/mysql
7.2将下载后的包上传至服务器/usr/local下
解压
cd /usr/local
tar xvf mysql-5.7.22-linux-glibc2.12-x86_64.tar
7.3创建链接方便访问
ln -s /usr/local/mysql-gpl-7.5.4-linux-glibc2.5-x86_64/usr/local/mysql
7.4初始化数据库(这里要注意，如果安装的版本不同，数据库初始化的命令可能不同的，很多之前的版本会使用：scripts/mysql_install_db --user=mysql来初始化，这个已经被mysql在新的版本中废弃了，所以需要使用下面的命令安装，如果需要安装别的版本请参考mysql官网的对应版本的安装命令。)
进入刚才创建的目录的bin目录下初始化，正常安装mysql如何初始化就如何进行安装就可以了，这里还可以设置安装数据库的data目录等参数。
cd /usr/local/mysql/bin
./mysqld --initialize--user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
如果初始化成功之后，系统会提示一个随机生成的数据库密码，此时需要记住这个密码，之后登录数据库需要使用这个密码。
192.168.74.128 p.(V9O+2*etk #记录192.168.74.128的初始化密码
192.168.74.129 vKeCI;+4Igl? #记录192.168.74.129的初始化密码
7.5修改权限
chown -R root .
chown -R mysql data
chgrp -R mysql .
cpsupport-files/mysql.server /etc/rc.d/init.d/
chmod +x/etc/rc.d/init.d/mysql.server
chkconfig --addmysql.server
7.6配置主节点
vi /etc/my.cnf
[client]
port = 3306
socket =/tmp/mysql.sock
[mysqld]
basedir=/usr/local/mysql/
datadir=/usr/local/mysql/data
user=root
port=3306
socket=/tmp/mysql.sock
server-id=1
log-bin=mysql-bin
skip-name-resolve
7.7配置从节点
vi /etc/my.cnf
[client]
port = 3306
socket =/tmp/mysql.sock
[mysqld]
basedir=/usr/local/mysql/
datadir=/usr/local/mysql/data
user=root
port=3306
socket=/tmp/mysql.sock
server-id=2
log-bin=mysql-bin
skip-name-resolve
其中slave的server-id要设置比master大
/etc/init.d/mysql.serverstart
./mysql -uroot -p #登录mysql，密码粘贴上面记录的初始密码
setpassword=password('123456'); #修改密码
./mysql -uroot -p123456 #测试修改后的密码是否能够登录
7.8在Master服务器上创建MySQL用户（授权复制用户）
GRANT ALL PRIVILEGES ON*.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
查看master状态
show master status;
在slave添加master配置
命令：change master to
->master_host=' 192.168.74.128',
->master_user=' root',
->master_password='123456',
->master_log_file=' mysql-bin.000010', #show master status中File的值
->master_log_pos=154;
show master status中Position的值
7.9主从同步测试
命令：show slave status\G
当Slave_IO_Running和Slave_SQL_Running均为Yes时，表示同步成功。
8、搭建haproxy
8.1上传haproxy安装包到/usr/local
在74.126和74.127解压缩安装
tar -zxvfhaproxy-1.8.14.tar.tar
cd haproxy-1.8.14
yum install -y gcc
make TARGET=linux310
ARCH=x86_64 # uname -a查看主机信息填写
make installSBINDIR=/usr/sbin/ MANDIR=/usr/share/man/ DOCDIR=/usr/share/doc/
8.2提供启动脚本
vim /etc/init.d/haproxy
#
# haproxy
#
# chkconfig: - 85 15
# description: HAProxy is a free, very fast and reliablesolution \
# offering high availability, loadbalancing, and \
# proxying for TCP and HTTP-based applications
# processname: haproxy
# config: /etc/haproxy/haproxy.cfg
# pidfile: /var/run/haproxy.pid
#Sourcefunction library.
./etc/rc.d/init.d/functions
# Source networkingconfiguration.
. /etc/sysconfig/network
# Check that networkingis up.
["$NETWORKING" = "no" ] && exit 0
exec="/usr/sbin/haproxy"
prog=$(basename $exec)
[ -e/etc/sysconfig/$prog ] && . /etc/sysconfig/$prog
cfgfile=/etc/haproxy/haproxy.cfg
pidfile=/var/run/haproxy.pid
lockfile=/var/lock/subsys/haproxy
check() {
$exec -c -V -f $cfgfile $OPTIONS
}
start() {
$exec -c -q -f $cfgfile $OPTIONS
if [ $? -ne 0 ]; then
echo "Errors in configurationfile, check with $prog check."
return 1
fi
echo -n $"Starting $prog: "
# start it up here, usually something like"daemon $exec"
daemon $exec -D -f $cfgfile -p $pidfile$OPTIONS
retval=$?
echo
[ $retval -eq 0 ] && touch$lockfile
return $retval
}
stop() {
echo -n $"Stopping $prog: "
# stop it here, often "killproc$prog"
killproc $prog
retval=$?
echo
[ $retval -eq 0 ] && rm -f$lockfile
return $retval
}
restart() {
$exec -c -q -f $cfgfile $OPTIONS
if [ $? -ne 0 ]; then
echo "Errors in configuration file, check with $prog check."
return 1
fi
stop
start
}
reload() {
$exec -c -q -f $cfgfile $OPTIONS
if [ $? -ne 0 ]; then
echo "Errors in configurationfile, check with $prog check."
return 1
fi
echo -n $"Reloading $prog: "
$exec -D -f $cfgfile -p $pidfile $OPTIONS-sf $(cat $pidfile)
retval=$?
echo
return $retval
}
force_reload() {
restart
}
fdr_status() {
status$prog
}
case "$1" in
start|stop|restart|reload)
$1
;;
force-reload)
force_reload
;;
check)
check
;;
status)
fdr_status
;;
condrestart|try-restart)
[ ! -f $lockfile ] || restart
;;
*)
echo $"Usage: $0{start|stop|status|restart|try-restart|reload|force-reload}"
exit2
esac
8.3提供配置文件
mkdir /etc/haproxy
mkdir /var/lib/haproxy
useradd -r haproxy
vim/etc/haproxy/haproxy.cfg
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
defaults
mode tcp
log global
option dontlognull
option redispatch
retries 3
timeout http-request 10s
timeoutqueue 1m
timeout connect 10s
timeout client 1m
timeoutserver 1m
timeout http-keep-alive 10s
timeout check 10s
maxconn 600
listen stats
mode http
bind :6677
stats enable
stats hide-version
stats uri /haproxyadmin?stats
stats realm Haproxy\ Statistics
stats auth admin:admin
statsadmin if TRUE
frontend main
bind *:3306
default_backend mysql
backend mysql
balance leastconn
server m1 192.168.74.128:3306 check port3306 maxconn 300
server m2 192.168.74.129:3306 check port3306 maxconn 300
8.4修改日志系统
###Provides UDP syslog
reception //去掉下面两行注释，开启UDP监听
$ModLoad imudp
$UDPServerRun 514
local2.*
/var/log/haproxy.log //添加此行
service rsyslog restart
8.5启动测试haproxy
service haproxy start
chkconfig --add haproxy
chkconfig haproxy on
netstat -tnlp
mysql -P3306 -uroot
-p123456 -h192.168.74.129 # 查看
server_id，判断是否成功
9、搭建keepalived
9.1上传keepalived安装包到/usr/local
在74.126和74.127解压缩安装
tar xfkeepalived-1.2.7.tar.gz
cd keepalived-1.2.7
./configure --prefix=/usr/local/keepalived--sbindir=/usr/sbin/ --sysconfdir=/etc/ --mandir=/usr/local/share/man/
make && makeinstall
chkconfig --addkeepalived
chkconfig keepalived on
可能会报错1
!!! OpenSSL isnot properly installed on your system. !!!
!!! Can notinclude OpenSSL headers files.
解决方法：
yum -y installopenssl-devel
可能会报错2
configure: error: Poptlibraries isrequired
解决方法：
yum install
popt-devel
9.2提供配置文件
vim
/etc/keepalived/keepalived.conf # 两个机器配置文件不同
! Configuration Filefor keepalived
global_defs {
notification_email{ #忽略
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_fromAlexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_haproxy{
script"/etc/keepalived/chk.sh" #检查haproxy的脚本
interval 2 #每两秒检查一次
}
vrrp_instance VI_1 {
stateBACKUP #定义为BACKUP节点
nopreempt #开启不抢占，另一个不写
interface ens33
virtual_router_id 51
priority 100 #开启了不抢占，所以此处优先级必须高于另一台，另一个写99
advert_int 1
authentication {
auth_type PASS
auth_pass abcd
}
virtual_ipaddress {
192.168.74.150 #配置VIP
}
track_script {
chk_haproxy #调用检查脚本
}
notify_backup "/etc/init.d/haproxyrestart"
notify_fault "/etc/init.d/haproxystop"
}
9.3创建check文件
vim/etc/keepalived/chk.sh
#!/bin/bash
if [ $(ps -C haproxy--no-header | wc -l) -eq 0 ]; then
/etc/init.d/keepalived stop
fi
chmod +x/etc/keepalived/chk.sh
service keepalivedstart
10、测试
ip addr # 查看是否绑定了虚ip
tcpdump-nn -i ens33 vrrp #抓包查看
http://192.168.74.128:6677/haproxyadmin?stats
# 通过haproxy查看状态
10.1测试无误后，重启MySQL、Haproxy、Keepalived，顺序依次为MySQL、Haproxy、Keepalived
/etc/init.d/mysql.serverstart
service haproxy start
service keepalivedstart
10.2测试mysql数据同步
通过对数据库进行增删改查操作，这里就不演示了
10.3测试mysql高可用
/etc/init.d/mysql.serverstop 停止服务测试效果，VIP是否还能够连上数据库
mysql -uroot -p123456-h192.168.74.150
10.4测试haproxyl高可用
service haproxy stop 停止服务测试效果
http://192.168.74.126:6677/haproxyadmin?stats是否还能够访问
mysql -uroot -p123456-h192.168.74.150
10.5测试mysql高可用
service keepalived stop 停止服务测试效果
ip addr 查看VIP
mysql -uroot -p123456
-h192.168.74.150 连接数据库
