41. 从零开始学springboot整合ElasticSearch

Elastic介绍

在2018年10月5日，一个做数据搜索服务的软件初创公司 Elastic，在纳斯达克上市。

image

而我们所熟悉的 ElasticSearch，正是 Elastic 公司最出名的产品之一，其中还包括有分布式日志解决方案 ELK（Elastic Search、Logstash、Kibana）、Beats、ECE等。

那 ElasticSearch 究竟是干啥的呢？

本质其实是一个基于 Lucene 开发的搜索服务器，它提供了一个基于 RESTful web 接口的分布式多用户能力的全文搜索引擎，能够达到实时搜索、稳定、可靠、快速、安装使用方便等特点。

同时，作为 Apache 许可条款下的开放源码，目前已经成为一种流行的企业级搜索引擎。

既然在企业开发中如此流行，肯定少不了 Springboot 的参与，今天我们就一起来探讨一下 SpringBoot 与 ElasticSearch 的整合，看看它是否真的如所介绍的那样优秀！

本文主要介绍分为以下几个部分：

  • 第一部分：环境准备，安装ElasticSearch，安装 ElasticSearch-head 插件可视化web界面
  • 第二部分：SpringBoot 整合 ElasticSearch 开发
  • 第三部分：CRUD 测试

ElasticSearch 安装

为了和真实环境一致，我们采用CentOS7来部署 ElasticSearch 服务。

建议把所需的安装包，手动从网上下载下来，因为“都懂的”原因！所以服务器下载 ElasticSearch 安装包非常慢.

登录https://www.elastic.co/cn/downloads/elasticsearch，选择相应的系统环境下载软件包，咸鱼君用的是CentOS，所以选择Linux环境。

image
安装JDK（已经安装过，可以跳过）

Elasticsearch 是用 Java 语言开发的，所以在安装之前，需要先安装一下JDK

yum -y install java-1.8.0-openjdk

查看java安装情况

java -version
image.png
安装ElasticSearch

进入对应文件夹，安装ElasticSearch

rpm -ivh elasticsearch-6.1.0.rpm

查找安装路径

rpm -ql elasticsearch

一般是装在/usr/share/elasticsearch/下。

设置data的目录

创建/data/es-data目录，用于elasticsearch数据的存放

mkdir -p /data/es-data

修改该目录的拥有者为elasticsearch

chown -R elasticsearch:elasticsearch /data/es-data
设置log的目录
mkdir -p /log/es-log

修改该目录的拥有者为elasticsearch

chown -R elasticsearch:elasticsearch /log/es-log
修改配置文件elasticsearch.yml
vim /etc/elasticsearch/elasticsearch.yml

修改如下内容：

#设置节点名称
cluster.name: my-es

#设置data存放的路径为/data/es-data
path.data: /data/es-data

#设置logs日志的路径为/log/es-log
path.logs: /log/es-log

#设置内存不使用交换分区，配置了bootstrap.memory_lock为true时反而会引发9200不会被监听，原因不明
bootstrap.memory_lock: false

#设置允许所有ip可以连接该elasticsearch
network.host: 0.0.0.0

#开启监听的端口为9200
http.port: 9200

#增加新的参数，为了让elasticsearch-head插件可以访问es (5.x版本，如果没有可以自己手动加)
http.cors.enabled: true
http.cors.allow-origin: "*"
启动elasticsearch

启动

systemctl start elasticsearch

查看状态

systemctl status elasticsearch

设置开机启动

systemctl enable elasticsearch

启动成功之后，测试服务是否开启

curl -X GET http://localhost:9200

返回如下信息，说明安装、启动成功了

image.png

同时也可以远程测试一下，如果网络被拒绝，检查防火墙是否开启

查询防火墙状态

firewall-cmd --state

如果状态是active表示已经开启，可以将其关闭

关闭防火墙

systemctl stop firewalld.service

如果不想开机启动，可以输入如下命令

禁止firewall开机启动

systemctl disable firewalld.service

ElasticSearch-head 安装

上面我们介绍了 ElasticSearch 的安装，但是只能通过接口去查询数据，能不能通过可视化界面来查询数据呢？

ElasticSearch-head，就是一个提供可视化界面的 ElasticSearch 插件，使用 Html5 开发，本质上还是一个 nodejs 的工程，因此在使用之前需要先安装 nodeJs。

安装 nodeJs

下载nodeJS

wget https://nodejs.org/dist/v10.9.0/node-v10.9.0-linux-x64.tar.gz

解压下载包

tar -zxvf node-v10.9.0-linux-x64.tar.gz

移动解压之后的文件夹到/usr/local

mv node-v10.9.0-linux-x64 /usr/local/nodejs

创建软链接，让npm和node命令全局生效

ln -s /usr/local/nodejs/bin/node /usr/bin/node
ln -s /usr/local/nodejs/bin/npm /usr/bin/npm

查看nodejs是否安装成功

node -v
npm -v
image
安装 elasticsearch-head

如果未安装git ，则先安装git工具

yum install –y git

查看git安装情况

git --version
image

从 gitHub 上拉取 elasticsearch-head 插件代码

git clone https://github.com/mobz/elasticsearch-head.git

进入elasticsearch-head文件夹

cd elasticsearch-head

因为npm安装非常非常慢，所以在这里先安装淘宝源地址，命令如下：

npm install cnpm -g --registry=https://registry.npm.taobao.org

创建cnpm软链接，不然执行下面执行命令会报错

ln -s /usr/local/nodejs/bin/cnpm /usr/local/bin/cnpm

使用cnpm命令下载安装项目所需要的插件

cnpm install

大概2分钟之后就安装好了，安装完成之后，修改配置信息

vim _site/app.js
image

将localhost换成elasticsearch的服务器地址，咸鱼君部署的这台是197.168.24.207。

image

换完之后，在elasticsearch-head目录下，输入如下命令，进入启动目录

cd node_modules/grunt/bin

使用如下命令启动服务，使elasticsearch-head服务在后台运行！

nohup ./grunt server &

最后，直接远程通过浏览器访问elasticsearch-head可视化管理界面，默认访问地址是ip:9100，访问结果如下！

image

至此，elasticsearch的安装包括可视化界面插件elasticsearch-head已经完成了！

SpringBoot 整合 ElasticSearch

对于 SpringBoot 来说，ElasticSearch 其实只是一个中间件，用途在于提供高效的搜索服务，比较幸运的是 SpringBoot 也为我们提供了 ElasticSearch 依赖库，添加依赖包，通过 JPA 访问非常方便，整合过程如下！

创建一个SpringBoot项目

在pom.xml中，添加依赖库 ElasticSearch 依赖包

<!--jpa 支持-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>
<!--elasticsearch-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

在application.properties中添加配置，其中节点名称cluster-name需要与上面的配置保持一致！

spring.data.elasticsearch.cluster-name=my-es
spring.data.elasticsearch.cluster-nodes=197.168.24.207:9300

编写 CURD

我们先写一个的实体类Student，借助这个实体类来完成基础的 CRUD 功能。

  • 新增实体类Student，其中indexName表示索引，type表示索引类别
@Data
@Accessors(chain = true)
@Document(indexName = "student", type = "school")
public class Student {

    private static final long serialVersionUID = 1l;

    @Id
    private String id;

    private String name;

    private String gender;

    private Integer age;
}

注意id字段是必须的，可以不写注解@Id！

  • 使用 JPA 作为数据持久层，接口继承自ElasticsearchRepository，同时新增两个自定义查询方法
public interface StudentRepository extends ElasticsearchRepository<Student, String> {

    /**
     * 通过姓名模拟查询学生信息
     * @param keyword
     * @return
     */
    List<Student> findByNameLike(String keyword);

    /**
     * 自定义查询，固定匹配查询学生信息
     * @param keyword
     * @return
     */
    @Query("{\"match_phrase\":{\"name\":\"?0\"}}")
    List<Student> findByNameCustom(String keyword);
}
  • 创建控制层，编写基础的 CRUD 功能
@RestController
@RequestMapping("/student")
public class StudentController {

    @Autowired
    private StudentRepository studentRepository;

    @Autowired
    private ElasticsearchTemplate elasticsearchTemplate;

    /**
     * 批量添加
     * @param students
     * @return
     */
    @PostMapping("/batchAdd")
    public void add(@RequestBody List<Student> students){
        studentRepository.saveAll(students);
    }

    /**
     * 添加
     * @param student
     * @return
     */
    @PostMapping("/add")
    public void add(@RequestBody Student student){
        studentRepository.save(student);
    }

    /**
     * 修改
     * @param student
     * @return
     */
    @PostMapping("/update")
    public void updateById(@RequestBody Student student){
        studentRepository.save(student);
    }

    /**
     * 删除
     * @param id
     * @return
     */
    @PostMapping("/delete/{id}")
    public void deleteById(@PathVariable String id){
        studentRepository.deleteById(id);
    }

    /**
     * 获取所有信息
     * @return
     */
    @GetMapping("/get")
    public Object getAll(){
        Iterable<Student> iterable = studentRepository.findAll();
        List<Student> list = new ArrayList<>();
        iterable.forEach(list :: add);
        return list;
    }

    /**
     * 查询指定ID
     * @param id
     * @return
     */
    @GetMapping("/get/{id}")
    public Object getById(@PathVariable String id){
        if(StringUtils.isEmpty(id)){
            return Result.error();
        }
        Optional<Student> studentOptional = studentRepository.findById(id);
        if(studentOptional.isPresent()){
            return studentOptional.get();
        }
        return null;
    }

    /**
     * 普通搜索
     * @param keyword
     * @return
     */
    @GetMapping("/search/name")
    public Object searchName(String keyword){
        List<Student> students = studentRepository.findByNameLike(keyword);
        return students;
    }

    /**
     * 自定义匹配
     * 普通搜索
     * @param keyword
     * @return
     */
    @GetMapping("/search/name/custom")
    public Object searchTitleCustom(String keyword){
        List<Student> students = studentRepository.findByNameCustom(keyword);
        return students;
    }

    /**
     * 高级搜索，可以自定义添加搜索字段
     * @param keyword
     * @return
     */
    @GetMapping("/top/search/name")
    public Object topSearchTitle(String keyword){
        SearchQuery searchQuery = new NativeSearchQueryBuilder()
                .withQuery(queryStringQuery(keyword))
                .build();
  //使用searchQuery进行搜索
        List<Student> students = elasticsearchTemplate.queryForList(searchQuery, Student.class);
        return students;
    }
}

CRUD 测试

CRUD 编写完了，我们验证一下是否可以正常操作，启动 springboot 项目，使用 postman 进行测试。

  • 批量新增、新增功能测试
image
image

执行之后，登录可视化界面查询界面，选择索引student，可以很清晰的看到数据已经进去了

image
  • 修改功能测试，修改时需要传入ID
image

将王小贱从26岁修改为30岁，登录可视化界面查询数据也已经修改成功！

image
  • 删除功能测试，只需要传入ID
image

删除李四，登录可视化界面查询数据也已经删除成功！

image
  • 查询功能测试，查询所有数据
image
  • 查询功能测试，查询指定ID信息
image
  • 查询功能测试，普通模糊查询，ElasticSearch 会对关键词进行拆分，只要有包含关键字的都会查询出来，例如输入王张，会将包含王或者张的姓名信息查询出来
image
  • 查询功能测试，高级查询，这个是使用官方api提供的查询入口，可以在方法中进行自定义搜索
image

总结

elasticsearch 在海量数据查询方面，非常高效，本来想写在大量数据查询方面，数据库与 elasticsearch 的查询效率比对，由于篇幅较长会造成阅读体验降低，后在下篇文章中再次介绍这个部分。

对于想学习 elasticsearch 的新手，尤其是安装部分可能比较困难，因此花的编写时间比较多，后续的整合都比较简单，elasticsearch 真正的强大的地方在于高效信息搜索，本篇对 elasticsearch 的搜索只是做一个基础的介绍，具体的高级搜索方法大家可以参考官方文档 API.

请关注我的订阅号

订阅号.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 205,386评论 6赞 479
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,939评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,851评论 0赞 341
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,953评论 1赞 278
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,971评论 5赞 369
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,784评论 1赞 283
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,126评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,765评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,148评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2赞 323
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,479评论 4赞 322
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,080评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2赞 352
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2赞 343