需求背景
- 项目中需要对外提供门店级别的业务库存查询接口，现场sku数为5W+，门店数量400+，业务库存记录约2000W+，为不影响系统的库存业务性能，不能直连数据库进行查询。
- 对外的门店业务库存查询接口，不要求数据实时强一致，允许有误差。
- 对外的业务库存查询接口调用频繁（门店级别的业务调用），对查询性能要求较高。
解决方案
- 由于库存查询所需的业务字段相对简单，也考虑过将库存数据缓存起来，接口直连缓存服务。但是，实现相较ES来说复杂，维护成本高；另一方面，扩展性差，无法有效支持后续较为复杂的海量查询场景。
- 分库分表方案，实现复杂，维护等成本较大，放弃。
- 基于上述背景，最终选用Elasticsearch来解决海量数据的近实时查询功能。
ES使用过程
版本选型
选用6.6.2 版本。
- 2.X版本，太老，弃坑。
- 5.X版本，目前市面上用的较多，但考虑到Type在7.X版本被ES废弃，弃坑。
- 6.X版本，能够从5.X无宕机升级，当然还有很多新功能，支持Type，但不推荐一个索引定义多Type，不老不新刚刚好，选它。
- 7.X版本，太新了除了官方文档，相关内容较少，等用的人群较为广泛后再考虑。
部署方式
由于客户有自己机房，且ERP全线内网访问，因此自建ES服务。
开发技术
- TransportClient 7.X版本已不被推荐，将在 8.X 版本中被废弃，不选择。
- 那就只能是走REST Client了，最终使用官方提供的Java High Level REST Client；实际使用时我们项目基于它再包了一层，方便对其了解不深的开发能够快速上手。
问题记录
已解决
- docker安装过程遇到问题
- 配置es的data挂载目录时，必须赋予当前用户文件夹的读写权限，否则启动报错，查看docker日志发现是无文件的读写权限。
- 必须使用非root用户账号创建和启动es容器。
- 为了外网可访问，在elasticsearch.yml中配置以下内容：
network.host: 0.0.0.0 - 启动时报内存不足。
Elasticsearch 对各种文件混合使用了 NioFs（ 注：非阻塞文件系统）和 MMapFs （ 注：内存映射文件系统）。请确保你配置的最大映射数量，以便有足够的虚拟内存可用于 mmapped 文件。
# 暂时设置 $ sudo sysctl -w vm.max_map_count=262144 # 永久设置 $ echo "vm.max_map_count=262144" > /etc/sysctl.conf $ sysctl -p
- 防火墙别忘记开放相关端口（一般为9200-HTTP协议端口和9300-TCP协议端口，ES集群之间是通过9300进行通讯）。
- 编码问题
- 调用ES REST查询接口报错“could not initialize class org.elasticsearch.action.search.searchrequest”。
现象：有时候会出现，一般出现在Java应用程序重启之后；再次重启可以避免这个报错。 解决方式： 1. 检查jackson-XX.jar的相关依赖版本，发现有不一致的（部分未2.9.5,部分未为2.9.0），通过查看elasticsearch 6.6.2的jar包发现其默认依赖的是2.9.5版本的jackson-XX.jar，解决jar包版本冲突后，暂无发现此问题出现。 2. 检查es的相关jar包保证版本一致。（都是6.6.2）
- 调用ES REST查询接口报错“could not initialize class org.elasticsearch.action.search.searchrequest”。
未解决
- 如何对ES进行性能调优。
