MySQL复制

扩展方式

Scale UP（纵向扩展）
Scale Out（横向扩展）

MySQL的扩展

• 读写分离：
• 复制：每个阶段都有相同的数据集
  向外扩展
  二进制日志
  单向

复制的功用

• 数据分布
• 负载均衡读
• 备份
• 高可用和故障切换
• MySQL升级测试

MySQL读写分离

读写分离应用：

• mysql-proxy：Oracle
  https://downloads.mysql.com/archives/proxy/
• Atlas：Qihoo
  https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md
• dbproxy：美团
  https://github.com/Meituan-Dianping/DBProxy
• Amoeba：
  https://sourceforge.net/projects/amoeba/

MySQL主从复制

MySQL复制

MySQL复制

MySQL垂直分区

MySQL垂直分区

MySQL水平分片（Sharding）

MySQL水平分片

对应 shard 中查询相关数据

主从复制线程：

• 主节点：
  dump Thread：为每个 Slave 的 I/O Thread 启动一个 dump 线程，用于向其发送 binary log events
• 从节点：
  I/O Thread：向 Master 请求二进制日志事件，并保存于中继日志中
  SQL Thread：从中继日志中读取日志事件，在本地完成重放

跟复制功能相关的文件：

• master.info：用于保存 slave 连接至 master 时的相关信息，例如账号、密码、服务器地址等
• relay-log.info：保存在当前 slave 节点上已经复制的当前二进制日志和本地 replay log 日志的对应关系

主从复制特点：

• 异步复制
• 主从数据不一致比较常见

复制架构：

• Master/Slave，Master/Master，环状复制
• 一主多从
• 从服务器还可以再有从服务器
• 一从多主：适用于多个不同数据库

复制需要考虑二进制日志事件记录格式

STATEMENT（5.0之前）
ROW（5.1之后，推荐）
MIXED

主从配置过程：参考官网

https://mariadb.com/kb/en/library/setting-up-replication/
https://dev.mysql.com/doc/refman/5.5/en/replication-configuration.html

主节点配置：

1. 启用二进制日志：vim /etc/my.cnf

   [mysqld]
   log_bin
   

2. 为当前节点设置一个全局唯一的ID号：vim /etc/my.cnf

   [mysqld]
   server_id=#
   log-basename=master    #可选项，设置datadir中日志名称，确保不依赖主机名
   

3. 创建有复制权限的用户账号：

   mysql> GRANT REPLICATION SLAVE ON *.* TO 'repluser'@'HOST' IDENTIFIED BY 'replpass';
   

从节点配置：

1. 启动中继日志：

   [mysqld]
   server_id=#      #为当前节点设置一个全局唯一的ID号
   relay_log=relay-log      #relay log的文件路径，默认值hostname-relay-bin
   relay_log_index=relay-log.index      默认值hostname-relay-bin.index
   

2. 使用有复制权限的用户账号连接至主服务器，并启动复制线程

   mysql> CHANGE MASTER TO MASTER_HOST='host',
       MASTER_USER='repluser',MASTER_PASSWORD='replpass',
       MASTER_LOG_FILE='mysql-bin.xxxxx',MASTER_LOG_POS=#;
   mysql> START SLAVE [IO_THREAD|SQL_THREAD];
   

复制架构中应该注意的问题：

1. 如果主节点已经运行了一段时间，且有大量数据时，如何配置并启动 slave节点

   • 通过备份恢复数据至从服务器
   • 复制起始位置为备份时，二进制日志文件及其POS

2. 如果要启用级联复制，需要在从服务器启用以下配置

   [mysqld]
   log_bin
   log_slave_updates
   

3. 限制从服务器为只读

   • 在从服务器上设置 read_only=ON（此限制对拥有SUPER权限是用户均无效）
   • 阻止所有用户，包括主服务器复制的更新
     mysql> FLUSH TABLES WITH READ LOCK;

4. RESET SLAVE
   在从服务器清除master.info，relay-log.info，relay log，开始新的relay log，注意：需要先 STOP SLAVE
   RESET SLAVE ALL：清除所有从服务器上设置的主服务器同步信息如：PORT，HOST，USER 和 PASSWORD 等

5. 如何保证主从复制的事务安全
   参看https://mariadb.com/kb/en/library/server-systemc-variables/

   • 在 master 节点启用参数：
     sync_binlog=1：每次写后立即同步二进制日志到磁盘，性能差
     如果用到的为 InnoDB 存储引擎：
     innodb_flush_log_at_trx_commit=1：每次事务提交立即同步日志写磁盘
     innodb_support_xa=ON：默认值，分布式事务 MariaDB10.3.0 废除
     sync_master_info=#：#次事件后 master.info 同步到磁盘
   • 在 slave 节点启用服务器选项：
     skip_slave_start=ON：不自动启动 slave
   • 在 slave 节点启用参数：
     sync_relay_log=#：#次写后同步 relay log 到磁盘
     sync_relay_log_info=#：#次事务后同步 relay-log.info 到磁盘

主主复制

主主复制：互为主从

• 容易产生的问题：数据不一致；因此慎用
• 考虑要点：自动增长 id
  配置一个节点使用奇数 id
  auto_increment_offset=1：开始点
  auto_increment_incremen=2：增长幅度
  另一个节点使用偶数 id
  auto_increment_offset=2
auto_increment_increment=2

主主复制的配置步骤：

1. 各节点使用一个唯一的 server_id
2. 都启动 binary log 和 relay log
3. 创建拥有复制权限的用户账号
4. 定义自动增长 id 字段的数值范围各为奇偶
5. 均把对方指定为主节点，并启动复制线程