ElasticSearch数据备份与恢复

记录下ElasticSearch数据的备份与迁移过程

1.指定备份文件地址

由于这里使用docker安装的es，所以指定备份文件到挂载的宿主机目录中，如果不是docker安装，直接指定为主机的目录即可

1. 列出所有的volume
root@zssy-test:/opt/docker/elk# vim docker-compose.yml 
root@zssy-test:/opt/docker/elk# docker volume ls
DRIVER              VOLUME NAME
local               73cd0ce3970fee80b3ff3d0211fb39c44b3b2cdcfd5c46d4b51f96ba59806d6e
local               elk_elasticsearch
local               elk_kibana
2.查看对应的宿主机目录
root@zssy-test:/opt/docker/elk# docker volume inspect elk_elasticsearch
[
    {
        "CreatedAt": "2020-07-29T13:40:15+08:00",
        "Driver": "local",
        "Labels": {
            "com.docker.compose.project": "elk",
            "com.docker.compose.volume": "elasticsearch"
        },
        "Mountpoint": "/var/lib/docker/volumes/elk_elasticsearch/_data",
        "Name": "elk_elasticsearch",
        "Options": null,
        "Scope": "local"
    }
]
3. 查看dokcer-compose中指定的挂载关系
volumes:
      - "elasticsearch:/usr/share/elasticsearch"

可以看到容器内/usr/share/elasticsearch目录对应宿主机的/var/lib/docker/volumes/elk_elasticsearch/_data目录。所以，设置的备份文件必须在/usr/share/elasticsearch下，这样再宿主机下可以直接找到对应的备份文件，否则，需要自己进入到容器内部，使用docker cp 命令从容器中拷贝出来，比较麻烦。
修改elasticsearch.yml配置文件

path.repo: ["/usr/share/elasticsearch/backup"]

修改完成之后重启es，重启之后配置才会生效

2.注册快照存储库

PUT http://192.168.0.112:9200/_snapshot/ecopherebbs
{
    "type": "fs",
    "settings": {
        "location": "E://es/backup"
    }
}

查看结果

GET http://192.168.0.112:9200/_snapshot

3.备份数据（执行快照）

备份

PUT http://192.168.0.112:9200/_snapshot/ecopherebbs/snapshot_20200729?wait_for_completion=true
{
  "indices": "sjy_index,economic_index",
  "ignore_unavailable": true,
   "include_global_state": true
}

其中：

wait_for_completion=true时会一直阻塞直到快照完成
snapshot_20200729 就是指定的备份快照命中
请求体重indices指定需要备份的索引（多个用逗号隔开），也可以不指定，这样会备份所有的es索引库数据

执行后最终返回如下信息表示备份创建成功：

{
    "accepted": true
}

查看结果

GET http://192.168.0.112:9200/_snapshot/ecopherebbs/snapshot_20200729

其中最后的 snapshot_20200729 就是上一步指定的备份快照名称
返回如下信息：

{
    "snapshots": [
        {
            "snapshot": "snapshot_20200729",
            "uuid": "6LFUlFLRRBGHah3NkopxsA",
            "version_id": 7010199,
            "version": "7.1.1",
            "indices": [
                "weather_fetch_bd_index",
                "sjy_soil_tem_index",
                "economic_income_index",
                "sjy_rock_sys_index",
                "sjy_pile_index",
                ".kibana_task_manager",
                ".kibana_1",
                "sjy_economic_index",
                "water_usage_index",
                "water_temp_index",
                "wild_animal_index",
                "plant_light_index",
                "plant_park_index",
                ".security-7",
                "check_station_index",
                "sjy_index"
            ],
            "include_global_state": true,
            "state": "SUCCESS",
            "start_time": "2020-07-29T05:44:08.321Z",
            "start_time_in_millis": 1596001448321,
            "end_time": "2020-07-29T05:44:09.928Z",
            "end_time_in_millis": 1596001449928,
            "duration_in_millis": 1607,
            "failures": [],
            "shards": {
                "total": 38,
                "failed": 0,
                "successful": 38
            }
        }
    ]
}

可以看到备份文件中所有索引库（indices）列表，总分片（shards）数，成功备份的分片数等信息

查看备份完成的数据文件

root@zssy-test:/var/lib/docker/volumes/elk_elasticsearch/_data/backup# pwd
/var/lib/docker/volumes/elk_elasticsearch/_data/backup
root@zssy-test:/var/lib/docker/volumes/elk_elasticsearch/_data/backup# ll
总用量 52
drwxrwxr-x  3 zssy root  4096 7月  29 13:44 ./
drwxrwxr-x 11 zssy root  4096 7月  29 13:40 ../
-rw-rw-r--  1 zssy root    29 7月  29 13:44 incompatible-snapshots
-rw-rw-r--  1 zssy root  1544 7月  29 13:44 index-0
-rw-rw-r--  1 zssy root     8 7月  29 13:44 index.latest
drwxrwxr-x 18 zssy root  4096 7月  29 13:44 indices/
-rw-rw-r--  1 zssy root 22268 7月  29 13:44 meta-6LFUlFLRRBGHah3NkopxsA.dat
-rw-rw-r--  1 zssy root   525 7月  29 13:44 snap-6LFUlFLRRBGHah3NkopxsA.dat
root@zssy-test:/var/lib/docker/volumes/elk_elasticsearch/_data/backup#

4.恢复数据

为本机恢复
本机节点恢复数据直接执行如下请求即可
为其他节点恢复
如果需要对其他节点机器上的es进行数据恢复，需要再其他机器执行以上1、2、3步操作，进行备份目录的注册和指定，最后将上一步的备份文件拷贝至对应的备份文件目录中

POST http://192.168.0.112:9200:9200/_snapshot/ecopherebbs/snapshot_20200729/_restore
其中：snapshot_20200729就是之前备份时指定的备份名称

返回如下信息表示恢复成功：

{
    "accepted": true
}

5.最佳实践

快照名称中加上节点名称与时间戳信息，便于备份文件管理
恢复数据之前保证恢复的索引库在当前es示例中没有创建，否则会恢复失败
使用定时任务和curl工具进行定时备份以保证es数据的可靠性