一、Zookeeper备份与迁移恢复
- 版本：3.4.5
- 目录：/var/lib/zookeeper
- 容量：namenode1(2543M)、namenode2(2515M)、datanode11（2498M）、datanode6(2574M)、datanode7(2407M)
- 依赖：无
1.1 备份数据文件
cd /var/lib/zookeeper/
tar -zcvf zookeeper-backup-`date +%F`CM-CDH.tar.gz version-2 myid
md5sum zookeeper-backup-`date +%F`CM-CDH.tar.gz > zookeeper_backup.md5
1.2 拷贝备份文件发送到目标服务器（仅做备份用）
scp /var/lib/zookeeper/zookeeper-backup-`date +%F`CM-CDH.tar.gz zookeeper_backup.md5 用户名@IP:/tmp
1.3 登陆到目标服务器
mkdir /var/lib/zookeeper
# 修改目录属组为zookeeper
chown -R zookeeper:zookeeper /var/lib/zookeeper
cp /tmp/zookeeper* /var/lib/zookeeper/
# 在目标服务器上对拷贝后的文件再次生成md5，与zookeeper_backup.md5文件值进行对比。
md5sum -c zookeeper_backup.md5
tar -zxvf zookeeper-backup-`date +%F`CM-CDH.tar.gz
# 创建myid(参考最新ID+1)
echo 4 > myid
chown zookeeper:zookeeper myid
1.4 删除旧角色
选择ZooKeeper-->实例-->选择旧实例(非leader）-->停止-->删除
1.5 添加新角色
使用CDH，选择zookeeper，"添加角色实例"--> 选择目标主机-->路径选择"/var/lib/zookeeper/"点击继续-->点击完成 -->返回zookeepery实例操作页面，选择新的角色Server-->点击启动
1.6 重启客户端过期配置
选择剩余三个Serer角色，依次重启。 并检查只有一个Leader节点。其他节点都是follower
验证：echo "stat" | nc master 2181 | grep Mode
1.7 验证
验证： 使用CDH，查看zookeeper服务各个实例运行正常，监控指标正常。
查看zk的各个server上，调用zoo.cfg文件中serverid是否修改成功： ps -ef |grep zoo.cfg ; grep server 绝对路径/zoo.cfg 核实是否正确。
注意修改hostname； 快照数据文件在系统盘上，但是配置信息参数只保留5天的数据。并且快照文件不大。无需单独设定盘存放。
二、HDFS NameNode备份与迁移恢复
- 版本：2.6.0
- 容量：namenode1(829M)-活动、 namenode2(880M)-备用
- 目录位置：/dfs/nn 系统盘
- 相关依赖：无
- 备注：迁移NameNode时，必须同Failover Controller一起迁移
2.1 进入safemode模式
$ sudo -u hdfs hadoop dfsadmin -safemode enter
2.2 将所有edits 修改flush到fsimage
$ sudo -u hdfs hadoop dfsadmin -saveNamespace
2.3 备份namenode元数据
mkdir /tmp/namenode_backup
# 将nn目录下所有文件压缩
cd /dfs
tar -zcvf /tmp/namenode_backup/nn_backup_`date +%F`.tar.gz nn
# 记录md5值
md5sum /tmp/namenode_backup/nn_backup_`date +%F`.tar.gz > /tmp/namenode_backup/nn_backup.md5
2.4 发送到目标服务器上
cd /tmp/namenode_backup
scp nn_backup_`date +%F`.tar.gz nn_backup.md5 用户名@IP:/tmp
# 在目标服务器上，重新生成md5与原md5值校验是否一致
md5sum -c /tmp/nn_backup_new.md5
# 解压缩到目标位置
mkdir /dfs
cp /tmp/nn_backup* /dfs
tar -zxf nn_backup_`date +%F`.tar.gz
2.5 退出safemode模式（此模式下，主备切换会失败）
$ sudo -u hdfs hadoop dfsadmin -safemode leave
2.6 删除旧角色
使用CDH---->HDFS实例---->分别选择{NameNode}---->选择{备用NameNode}---->停止---->删除
2.7 添加新角色
CDH---->NameNode
|-->添加角色实例
|-->选择新{NameNode和Failover Controller}
|-->点击继续→完成
|-->返回NameNode实例页面
|-->点击新角色NameNode
|-->配置
|-->添加以下配置(添加新Namenode角色后需要修改配置)：
1、NameNode Nameservice 与主NameNode的值一致。"nameservice1"
2、Quorum Journal 名称 与主NameNode的值一致。"nameservice1"
3、dfs.ha.automatic-failover.enabled 点击启用
|-->选择新加入的“: Failover Controller”
|-->点击启动
|-->选择旧的Failover Controller 角色-->停止-->删除。
|-->依次点击NameNode(活动)角色 重启
|-->选择新加入的NameNode 角色
|-->点击启动 (前提是已经确认备份的nn元数据文件 已经放到目标路径 例如/dfs/nn)
|-->依次重启其他“使用过时的配置”的角色
2.9 重新部署客户端配置
最后等所有服务都启动正常后， 点击页面左上角 HDFS-->过期配置：需要重新部署客户端配置。
验证： 使用CDH，查看namenode服务各个实例运行正常，监控指标正常。
备注：如果选择备用NameNode-->迁移角色-->选择源主机和目标主机-->这种方式会重启整个集群
三、HDFS JournalNodes备份与迁移恢复
- 目录：/dfs/jn 系统盘
- 容量：datanode7(250M)、 datanode6(250M)、datanode12(250M)
- 依赖：无
- 备份：在所有journalNodes角色主机上运行
3.1 备份namenode元数据
mkdir /tmp/journalnode_backup
cd /dfs
tar -zcvf /tmp/journalnode_backup/jn_backup_`date +%F`.tar.gz jn
# 记录md5值
md5sum /tmp/journalnode_backup/jn_backup_`date +%F`.tar.gz > /tmp/journalnode_backup/jn_backup.md5
3.2 发送到目标服务器上
scp /tmp/journalnode_backup/jn_backup* 用户名@目标IP:/tmp
# 在目标服务器上，重新生成md5与原md5值校验是否一致
md5sum -c /tmp/jn_backup_new.md5
# 解压缩到目标位置
mkdir /dfs
cd /dfs
cp /tmp/jn_backup* /dfs
tar -zxf jn_backup_`date +%F`.tar.gz
chown hdfs:hadoop -R /dfs/jn
【以下操作，不能处于safemode模式，否则就会报错。】
3.3 添加新角色
使用CDH，点击JournalNode-->添加角色实例-->选择新JournalNode主机-->点击继续-->完成
3.4 删除旧角色
选择HDFS实例-->选择JournalNode角色-->选择备用JournalNode→停止-->删除。
3.5 启动角色并验证
返回JournalNode实例页面-->选择新JournalNode→启动。依次重启NameNode角色。（此时会发生HA主备切换）
验证： 使用CDH，查看ournalnode服务各个实例运行正常，监控指标正常。
备注：如果选择备用JameNode-->迁移角色-->选择源主机和目标主机-->这种方式会重启整个集群
四、Hive元数据备份与迁移恢复
4.1 备份Hive元数据
版本：1.1.0
数据库容量：535M
目录位置：元数据在mysql 中存放，/opt/app/mysql_3307/data/
相关依赖：Mysql 5.1.73
-
备份Hive元数据
$ mysqldump --databases database_name --host=database_hostname --port=database_port -u database_username -p > backup_directory_path/database_name-backup-`date +%F`-CDH.sql $ md5sum database_name-backup-`date +%F`-CDH.sql > database_name-backup-`date +%F`-CDH.sql.md5
4.2、迁移前记录每个表数据量并抽取样本。
记录每个表数据量
mysql > SELECT TABLE_NAME, TABLE_ROWS FROM `information_schema`.`tables` WHERE `table_schema` = 'hive';
mysql > --抽取样本
4.3 拷贝到目标服务器
拷贝第一步中的sql和sql.md5文件到新的数据库服务器上
md5sum -c sql.md5 对比两个md5文件数值是否一致。此步骤校验数据拷贝完整性。
4.4 导入新数据库
mysql -u用户名 -p密码 数据库名 < 数据库名.sql
4.5 验证数据完整性
导入新数据库后记录表数据量并抽取样本。校验新、旧数据库中数据是否完整。
记录每个表数据量
mysql > SELECT TABLE_NAME, TABLE_ROWS FROM `information_schema`.`tables` WHERE `table_schema` = 'hive';
mysql > --抽取样本
4.6 修改hive db配置
使用CDH，点击Hive-->配置-->选择左边栏"Hive Metastore数据库" -->修改Hive Metastore 数据库主机地址。(前提是 数据库已经迁移到新环境中，如果未迁移则此步骤跳过)
4.7、启动
点击添加角色实例-->”Hive Metastore Server“ -->选择新主机地址-->点击完成-->点击启动。
4.8 删除旧角色
选择Hive实例-->选择旧的Hive Metastore Server-->停止-->删除。
4.9、重启过时配置
依次重启各个Hive Metastore Server(过时配置)
验证： 通过cdh上查看hive组件服务以及各个监控项是否正常显示。通过hive客户端操作元数据是否正常(增、删、改、差)。
