DBA课程-day12-主从复制高级进阶

主从复制：

1. 介绍（略）

2. 主从复制前提

2台机器
二进制日志
server_id 
复制用户
数据预同步
change master to
start slave

3. 名词

文件 ：
    主库： binlog 
    从库： relay-log master.info relay-log.info 
线程：
    主库：   binlog_dump_thread 
    从库：   IO   SQL

4. 主从复制原理

（略。见上一章）

5. 主从复制故障分析

show  slave  status \G ；
IO :
    connecting:
        网络，防火墙，IP，Port，user，password
        手工mysql 
    No:
        binlog     ，  server_id   

        主库：                                       从库： 两个yes  
    set sql_log_bin=0;  create database  ABC；
        use abc；
        create table t1；
        exit；
        insert into  t1  value(1);              SQL:  NO   t1表找不到
        commit; 
    source      
SQL : 
     从库写入 
     进行从库的只读或者读写分离物理隔离

6. 主从延时

1.主库： DUMP线程 串行投递日志   
GTID+双一
2.从库： SQL 线程回放  串行
MTS

7. 延时从库

主要解决 逻辑损坏 
对SQL线程进行配置  

应用：
1.监控到 
2. 停止主库业务，从库SQL关闭
3. 人工模拟SQL干活
4. 找relaylog的起点和终点并截取日志 
5. 从库恢复
6. 将从库替换为主库，对外提供服务
    stop slave; 
    reset slave all;
7. 补偿原主库数据和新主库保持一致，并重新构建主从

===========================================
今日内容：

7. 延时从库

7.1 数据损坏

1.物理损坏
2.逻辑损坏
对于传统的主从复制，比较擅长处理物理损坏。

7.2 设计理念

对SQL线程进行延时设置

7.3 延时多久合适？

一般企业，延时3-6小时

7.4 如何设置

mysql>stop slave;
mysql>CHANGE MASTER TO MASTER_DELAY = 300;
mysql>start slave;
mysql> show slave status \G
SQL_Delay: 300
SQL_Remaining_Delay: NULL

7.5 如何使用延时从库

7.5.1 思路
模拟故障：
mysql -S /data/3307/mysql.sock 
create database  delay charset utf8mb4;
use delay;
create table t1(id int);
insert into t1 values(1),(2),(3);
commit; 
drop database delay;

发现问题了：
1. 停止SQL线程，停止主库业务。
2. 模拟SQL手工恢复relaylog到drop之前的位置点
3. 截取relaylog日志，找到起点（relay-log.info）和终点(drop 操作)
4. 恢复截取的日志，验证数据可用性。

开始处理：

1. 停从库的SQL线程 
mysql -S /data/3308/mysql.sock 
mysql> stop slave sql_thread;
2. 找relaylog的起点和终点
起点：
Relay_Log_File: db01-relay-bin.000002
Relay_Log_Pos: 476

终点： 
mysql> show relaylog events in 'db01-relay-bin.000002'
| db01-relay-bin.000002 | 1149 | Query          |         7 |        2036 | drop database delay  
3. 截取日志 
[root@db01 ~]# mysqlbinlog --start-position=476 --stop-position=1149 /data/3308/data/db01-relay-bin.000002 >/tmp/relay.sql
4. 恢复 
mysql -S /data/3308/mysql.sock 
set sql_log_bin=0;
source /tmp/relay.sql

8. 过滤复制

主库：(了解)
show master status;
binlog_do_db 
binlog_ignore_db 

从库：
在SQL线程回放日志时，进行控制过滤。
show slave status\G；
###数据库级别的白名单和黑名单
Replicate_Do_DB: 
Replicate_Ignore_DB: 
###数据表级别的白名单和黑名单
Replicate_Do_Table: 
Replicate_Ignore_Table: 
###数据表级别模糊过滤的白名单和黑名单
Replicate_Wild_Do_Table: 
Replicate_Wild_Ignore_Table: 

例子： 
只需要复制xyz库的数据到从库
[root@db01 ~]# vim  /data/3308/my.cnf
replicate_do_db=xyz

systemctl restart mysqld3308
mysql> show slave status \G；

注意：如果有多个库的话，写多行即可。

9. 半同步复制

加载插件
主:
INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
从:
INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
查看是否加载成功:
show plugins;
启动:
主:
SET GLOBAL rpl_semi_sync_master_enabled = 1;
从:
SET GLOBAL rpl_semi_sync_slave_enabled = 1;
重启从库上的IO线程
STOP SLAVE IO_THREAD;
START SLAVE IO_THREAD;
查看是否在运行
主:
show status like 'Rpl_semi_sync_master_status';
从:
show status like 'Rpl_semi_sync_slave_status';

和传统复制区别：
是一个插件形式提供的功能
主库： ack_receiver
从库:  ACK_send
主库的 ack_receiver 线程 只有接收到 从库发来的ACK确认，主库事务才能commit成功
从库的 Ack_send只有等relaylog落地才能发送ACK 
主库只会等10s  如果ACK还没收到的，会自动替换为异步复制。

10.GTID复制（高可用环境准备）

10.0 作用

group commit    ,   MTS

10.1 重点参数

gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1              ----强制刷新从库二进制日志：1. 高可用（MHA） 2. 级联复制的中间库

10.2 清理环境

pkill mysqld
 \rm -rf /data/*
 mkdir -p /data/mysql/data 
 mkdir -p /data/binlog/
 chown -R mysql.mysql /data

10.3 准备配置文件

主库db01：
cat > /etc/my.cnf <<EOF
[mysqld]
basedir=/application/mysql/
datadir=/data/mysql/data
socket=/tmp/mysql.sock
server_id=51
port=3306
secure-file-priv=/tmp
autocommit=0
log_bin=/data/binlog/mysql-bin
binlog_format=row
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
[mysql]
prompt=db01 [\\d]>
EOF

slave1(db02)：
cat > /etc/my.cnf <<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/mysql/data
socket=/tmp/mysql.sock
server_id=52
port=3306
secure-file-priv=/tmp
autocommit=0
log_bin=/data/binlog/mysql-bin
binlog_format=row
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
[mysql]
prompt=db02 [\\d]>
EOF

slave2(db03)：
cat > /etc/my.cnf <<EOF
[mysqld]
basedir=/application/mysql
datadir=/data/mysql/data
socket=/tmp/mysql.sock
server_id=53
port=3306
secure-file-priv=/tmp
autocommit=0
log_bin=/data/binlog/mysql-bin
binlog_format=row
gtid-mode=on
enforce-gtid-consistency=true
log-slave-updates=1
[mysql]
prompt=db03 [\\d]>
EOF

10.4 初始化数据(所有节点)

mysqld --initialize-insecure --user=mysql --basedir=/application/mysql  --datadir=/data/mysql/data

10.5 启动数据库

/etc/init.d/mysqld start

10.6 主库创建用户

db01 [(none)]>grant replication slave on *.* to repl@'10.0.0.%' identified by '123';

10.7 两个从库开启主从

mysql -e "change master to master_host='10.0.0.51',master_user='repl',master_password='123' ,MASTER_AUTO_POSITION=1;start slave; "
mysql -e "show slave status \G"|grep Yes

===================================================================

MHA 的vip功能(db03)

参数:master_ip_failover_script=/usr/local/bin/master_ip_failover
注意：/usr/local/bin/master_ip_failover，必须事先准备好.
修改脚本内容
vim  /usr/local/bin/master_ip_failover
my $vip = '10.0.0.55/24';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";

8.更改manager配置文件：

vim /etc/mha/app1.cnf
添加：master_ip_failover_script=/usr/local/bin/master_ip_failover
注意：yum install -y dos2unix
[root@db03 ~]# dos2unix /usr/local/bin/master_ip_failover 
dos2unix: converting file /usr/local/bin/master_ip_failover to Unix format ...

9.添加可执行权限：

chmod +x /usr/local/bin/master_ip_failover

10.主库上，手工生成第一个vip地址，
手工在主库上绑定vip，注意一定要和配置文件中的ethN一致，我的是eth0:1(1是key指定的值)

ifconfig eth0:1 10.0.0.55/24

11.检查MHA的状态

[root@db03 ~]# masterha_check_status --conf=/etc/mha/app1.cnf
app1 (pid:19347) is running(0:PING_OK), master:10.0.0.52
####手动停止vip（写错了  down下来）
[root@db02 ~]# ifconfig eth0:1 down

12.重启mha

masterha_stop --conf=/etc/mha/app1.cnf
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &

13.配置发送邮件脚本到MHA的配置文件中（/etc/mha/app1.cnf）。

1. 参数：
report_script=/usr/local/bin/send
2. 准备邮件脚本
send_report
(1)准备发邮件的脚本(上传 email_2019-最新.zip中的脚本，到/usr/local/bin/中)
(2)将准备好的脚本添加到mha配置文件中,让其调用
3. 修改manager配置文件，调用邮件脚本
vim /etc/mha/app1.cnf
report_script=/usr/local/bin/send
（3）停止MHA
masterha_stop --conf=/etc/mha/app1.cnf
（4）开启MHA    
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &