目前线上elasticsearch集群为6个节点：
node memory memory.total disk.total disk.used
es04 31.7G 256G 10T 1.8tb
es05 31.7G 256G 10T 1.8tb
es02 31.7G 256G 10T 2.0tb
es01 31.7G 256G 10T 1.8tb
es03 31.7G 256G 10T 2.4tb
es06 31.7G 256G 10T 1.8tb
image.png
9月开学，数据压力成倍剧增。巡检中，发现es插入和查询频繁异常。经过日志排查，发现部分节点不断gc导致堵塞其他线程。
image.png
解决方案（依次）:
1.关闭历史索引
2.每台服务器新增2个es节点，共增加12个data节点。
3.调整es角色，仅master node：6台， data node：12台，其他角色暂不分配（聚合需求不多）。
4.合并segment
做完解决方案1时，es已恢复正常。后续根据实际情况逐步执行后续方案。
