前面几篇已完成基础环境的搭建和一个flask极简项目的发布.在实际使用当中, 数据库备份也显得很重要.因为使用的是docker版mysql(5.6). 本文将基于此环境, 实战讲解docker版mysql的主从复制.
使用MySQL主从复制的目的在于:
- 主从服务器设置的稳健性得以提升. 如果主服务器发生故障, 可以把本来作为备份的从服务器提升为主服务器.
- 在主从服务器上分开处理用户的请求, 可获得更短的响应时间.
- 用从服务器做数据备份而不会占用主服务器的系统资源.
MySQL主从复制
场景描述
在 第二篇: 搭建环境 -- Centos7(64位)云主机部署Python Flask项目实战系列 中已经创建有一个docker版的mysql 5.6. 这里将已经创建的mysql容器作为主容器, 再创建一个容器作为从容器.
- 主mysql服务器: 名为my-mysql的docker容器
- 从mysql服务器: 需要新建容器
主容器my-mysql已经在运行中.
创建mysql从容器(mysql-bk)
复制主容器的映射文件夹
[root@localhost local]# cp -r mysql mysql_bk
创建从容器, 并命名为: mysql-bk,并连接主容器my-mysql
[root@localhost mysql] docker run --restart=always -p 3305:3306 --name mysql-bk --link my-mysql:my-mysql -v $PWD/conf/my.cnf:/etc/mysql/my.cnf -v $PWD/logs:/logs -v $PWD/data:/mysql_data -e MYSQL_ROOT_PASSWORD=12345 -d mysql:5.6
这里将docker主机的3305端口映射到从容器mysql-bk. 意即: 在宿主机器中使用3305端口来连接从容器mysql-bk.
查看运行状态
[root@huanaCentos mysql_bk]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
4781d5c516b8 mysql:5.6 "docker-entrypoint.sh" 29 seconds ago Up 28 seconds 0.0.0.0:3305->3306/tcp mysql-bk
615c9b2e4fa3 mysql:5.6 "docker-entrypoint.sh" About an hour ago Up 53 minutes 0.0.0.0:3306->3306/tcp my-mysql
4dbea194a61c redis:3.2 "docker-entrypoint.sh" 5 days ago Up 25 hours 0.0.0.0:6379->6379/tcp my-redis
3bdee31c2ddc mongo:3.4 "docker-entrypoint.sh" 5 days ago Up 25 hours 0.0.0.0:27017->27017/tcp my-mongo
docker link
Docker通过下述两种方法把子容器里的信息暴露给父容器:
- 环境变量
- 更新 /etc/host 文件
先来看下docker设定的环境变量。 在mysql-bk容器里， 运行 env 命令 列出所有的环境变量。
[root@localhost mysql_bk]# docker exec -it mysql-bk bash
root@4781d5c516b8:/# env
HOSTNAME=4781d5c516b8
MYSQL_VERSION=5.6.37-1debian8
MY_MYSQL_NAME=/mysql-bk/my-mysql
MY_MYSQL_ENV_MYSQL_MAJOR=5.6
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
PWD=/
MY_MYSQL_PORT=tcp://172.17.0.3:3306
MY_MYSQL_PORT_3306_TCP_PORT=3306
MY_MYSQL_PORT_3306_TCP_ADDR=172.17.0.3
MY_MYSQL_PORT_3306_TCP=tcp://172.17.0.3:3306
MY_MYSQL_PORT_3306_TCP_PROTO=tcp
SHLVL=1
HOME=/root
MY_MYSQL_ENV_MYSQL_VERSION=5.6.37-1debian8
MY_MYSQL_ENV_GOSU_VERSION=1.7
MYSQL_MAJOR=5.6
MY_MYSQL_ENV_MYSQL_ROOT_PASSWORD=12345
GOSU_VERSION=1.7
MYSQL_ROOT_PASSWORD=12345
_=/usr/bin/env
root@4781d5c516b8:/#
可以看到Docker创建了一些对于我们使用my-mysql很有用的环境变量。 每一个变量都以 MY-MYSQL 开头. 你可以使用这些环境 变量来配置你的应用程序来连接 my-mysql里的数据库。 连接是安全的、私有的 仅限于 mysql-bk 和 my-mysql之间。
除了环境变量之外Docker会把父容器的IP添加到子容器的/etc/hosts里。
root@4781d5c516b8:/# cat /etc/hosts
127.0.0.1 localhost
::1 localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.3 my-mysql 615c9b2e4fa3
172.17.0.5 4781d5c516b8
此时, mysql-bk容器中, 可以直接ping通my-mysql容器了.
root@4781d5c516b8:/# ping my-mysql
PING my-mysql (172.17.0.3): 56 data bytes
64 bytes from 172.17.0.3: icmp_seq=0 ttl=64 time=0.082 ms
64 bytes from 172.17.0.3: icmp_seq=1 ttl=64 time=0.071 ms
64 bytes from 172.17.0.3: icmp_seq=2 ttl=64 time=0.083 ms
主从复制(无用户数据的情况)
1. 修改配置
在主容器my-mysql的配置文件的[mysqld]栏添加以下两行:
log-bin = mysql-bin
server-id = 1
thread_concurrency = 2
thread_concurrency 与线程有关
thread_concurrency应设为CPU核数的2倍. 比如有一个双核的CPU, 那thread_concurrency 的应该为4; 2个双核的cpu, thread_concurrency的值应为8.
在从容器mysql-bk的配置文件的[mysqld]栏添加以下两行:
log-bin = mysql-bin
server-id = 2
thread_concurrency = 2
重新运行下这两个容器:
[root@localhost mysql_bk]# docker restart mysql-bk
mysql-bk
[root@localhost mysql_bk]# docker restart my-mysql
my-mysql
2. 主容器上进行操作
(1). 创建一个用户用来同步数据
mysql> GRANT REPLICATION SLAVE ON *.* to 'backup'@'%' identified by '123456';
Query OK, 0 rows affected (0.00 sec)
(2). 查看主mysql容器数据库状态
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 120 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
mysql>
记下File及Position的值, 在后面进行从容器操作的时候需要使用.
如果没有查到数据, 请检查my.cnf配置是否正确.
3. 在从容器mysql-bk中执行同步
(1).执行同步SQL语句
mysql> change master to master_host='172.17.0.1', master_user='backup',
-> master_password='123456',
-> master_log_file='mysql-bin.000001',
-> master_log_pos=120,
-> master_port=3306;
Query OK, 0 rows affected, 2 warnings (0.02 sec)
master_host值也可为: my-mysql, 因为在mysql-bk容器本地/etc/hosts文件中已经有该容器的地址解析了.
(2).启动slave同步功能
mysql> start slave;
Query OK, 0 rows affected (0.01 sec)
(3).主从同步检查
执行show slave status/G来检查从服务器的同步情况, 一个正常的输出结果应该如下面的形式:
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 172.17.0.1
Master_User: backup
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 120
Relay_Log_File: mysqld-relay-bin.000002
Relay_Log_Pos: 283
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 120
Relay_Log_Space: 457
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 1
Master_UUID: ac7410b4-8553-11e7-bd97-0242ac110003
Master_Info_File: /var/lib/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
1 row in set (0.00 sec)
mysql>
主从复制(有用户数据的情况)
如果主容器my-mysql中已经存在用户数据, 那么在进行主从复制时, 需要做如下处理:
1. 主数据库锁表操作, 不让数据再进行写入操作.
[root@localhost mysql_bk]# docker exec -it my-mysql bash
root@615c9b2e4fa3:/# mysql -u root -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 6
Server version: 5.6.37-log MySQL Community Server (GPL)
Copyright (c) 2000, 2017, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> FLUSH TABLES WITH READ LOCK;
Query OK, 0 rows affected (0.01 sec)
2. 查看主数据库的状态
mysql> show master status;
记下File和Position的值, 以备从服务器使用.
3. 把主服务器的数据文件复制到从服务器.
(1). 将主数据库的数据备份到db_dev.sql文件
mysqldump -uroot -p db_dev > db_dev.sql
(2). 将备份的数据文件复制宿主机器中.
docker cp my-mysql:/usr/local/mysql/mysql.bak.sql /usr/local/
(3). 将宿主机器中的备份文件复制到从数据库容器中
docker cp data/mysql.bak.sql mysql-bk:/usr/local/
(4). 将数据复制到从数据库容器中.
docker cp data/mysql.bak.sql mysql-bk:/usr/local/
(5). 导入数据到从容器的数据库中.
mysql -u root -p db_dev < db_dev.sql
4. 取消主数据库锁定.
mysql> UNLOCK TABLES;
从服务器的操作和前面的步骤一样(略过).
验证
在主数据库容器内创建新的数据库和表, 然后插入记录, 再登录到从数据为容器的数据库中, 查看是否也建立相一致的库和表以及记录.
mysql> create database db_sync;
Query OK, 1 row affected (0.01 sec)
mysql> create table demo(id int(3), name char(10));
Query OK, 0 rows affected (0.12 sec)
mysql> insert into demo values (001, 'jameszhang');
Query OK, 1 row affected (0.00 sec)
然后, 进入到从容器中查看是否存在db_sync数据库, demo表和一笔记录.
写得比较仓促, 如有错误, 请各位看官帮忙批评指正!
