SpringBoot中如何使用Elasticsearch

概述

Elasticsearch是一个全文搜索中间件,,可以提供搜索服务,名词解释可以参考百度。

在SpringBoot中使用Elasticsearch

在springboot中主要借助spring-data-elasticsearch来操作Elasticsearch

参考:https://spring.io/projects/spring-data-elasticsearch,版本需要和ES版本对上
es下载:https://www.elastic.co/cn/downloads/past-releases
中文分词器ik:https://github.com/medcl/elasticsearch-analysis-ik

这里使用的springboot为2.1.x、spring-data-elasticsearch2.1.1、Elasticsearch为6.4
Elasticsearch的安装在本篇不做讲解,本文讲的是post文章搜索,所以前期准备需要先在Elasticsearch里创建post索引,并从post表中导入数据。如果是用容器启动ES的话,在文末给出docker下运行ES步骤。

1.在pom.xml中加入依赖

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId><!--netty-->
            <version>2.1.1.RELEASE</version>
        </dependency>
  1. 检索用的实体类PostDocument.java
@Document(indexName="post", type="post", createIndex=true)
public class PostDocument implements Serializable {

    @Id
    private Long id;

    // ik分词器
    @Field(type = FieldType.Text, searchAnalyzer="ik_smart", analyzer = "ik_max_word")
    private String title;

    @Field(type = FieldType.Long)
    private Long authorId;

    @Field(type = FieldType.Keyword)
    private String authorName;
    private String authorAvatar;

    private Long categoryId;
    @Field(type = FieldType.Keyword)
    private String categoryName;

    private Integer level;
    private Boolean isReply;

    private Integer commentCount;
    private Integer viewCount;

    @Field(type = FieldType.Date)
    private Date created;

  //...省略getter setter
}
  1. 创建一个Dao类PostRepository 继承ElasticsearchRepository
@Repository
public interface PostRepository extends ElasticsearchRepository<PostDocument, Long> {
    // 符合jpa命名规范的接口
}

3.创建一个检索服务类SearchService.java

@Service
public class SearchService {

    @Autowired
    PostRepository postRepository;

    public List<PostDocument> search(Integer pageNum,Integer pageSize, String keyword) {
        Pageable pageable = PageRequest.of(pageNum, pageSize);
        
        //构建检索条件
        SearchQuery searchQuery = new NativeSearchQueryBuilder()
                .withQuery(matchAllQuery())
                .withIndices("post")
                .withTypes("post")
                .withFields("title", "authorName", "categoryName")
                .withPageable(pageable)
                .build();
        org.springframework.data.domain.Page<PostDocument> documents = postRepository.search(searchQuery);
        return List<PostDocument> list = documents.getContent();
    }
}

※这里只写了搜索的功能,增量数据的同步更新通过canal中间件来同步具体参考之前的文章《使用阿里canal,实现如何将MySQL实时同步数据到ElasticSearch》,如果不使用canal中间件的话,也可以使用Logstash来同步数据,或者直接在代码中实现,这个需要写增删改的方法,通过RabbitMQ监听MySql的数据更新消息,来达到ElasticSearch的数据同步更新。

4.写一个控制器类IndexController来调用

@Controller
public class IndexController{
    @Autowired
    HttpServletRequest req;

    @Autowired
    SearchService searchService;
    @RequestMapping("/search")
    public String search(String q) {
        int pageNum= ServletRequestUtils.getIntParameter(req, "pageNum", 1);
        int pageSize = ServletRequestUtils.getIntParameter(req, "pageSize", 10);
        List<PostDocument> list = searchService.search(pageNum, pageSize ,q);

        req.setAttribute("q", q);
        req.setAttribute("list", list);
        return "search";
    }
}

ElasticSearchTemplate的使用

上面介绍了ElasticSearchRepository的使用,还可以使用ElasticSearchTemplate来完成查询

JPA中的save方法只适用于少量数据的写入,使用ElasticSearchRepository的bulkIndex方法可以插入大量数据,如百万级的数据可以在短时间内完成插入。

Elasticsearch集群健康检查

GET http://127.0.0.1:9200/_cluster/stats
{
    "cluster_name": "elasticsearch",
    "status": "green",
    "timed_out": false,
    "number_of_nodes": 1,
    "number_of_data_nodes": 1,
    "active_primary_shards": 0,
    "active_shards": 0,
    "relocating_shards": 0,
    "initializing_shards": 0,
    "unassigned_shards": 0
}

status 有三个状态值

  • green
    所有的主分片和副本分片都已分配,集群是 100% 可用
  • yellow
    所有的主分片已经分片了,但至少还有一个副本是缺失的。不会有数据丢失,所以搜索结果依然是完整的。
  • red
    至少一个主分片(以及它的全部副本)都在缺失中。这意味着你在缺少数据:搜索只能返回部分数据,而分配到这个分片上的写入请求会返回一个异常

总结

以上就是在SpringBoos中简单实用ElasticSearch的demo,对于复杂的应用,以后可以在本文里改进更新。

※docker运行ElasticSearch
ElasticSearch版本为 6.4.3,使用 docker 运行,下面是所有步骤:

  1. 下载镜像:docker pull elasticsearch:6.4.3

  2. 运行容器:docker run -d -p 9200:9200 -p 9300:9300 --name elasticsearch-6.4.3 elasticsearch:6.4.3

  3. 进入容器:docker exec -it elasticsearch-6.4.3 /bin/bash

  4. 安装 ik 分词器:./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.5.3/elasticsearch-analysis-ik-6.4.3.zip

  5. 修改 es 配置文件:`vi ./config/elasticsearch.yml

cluster.name: "docker-cluster"
network.host: 0.0.0.0

# minimum_master_nodes need to be explicitly set when bound on a public IP
# set to 1 to allow single node clusters
# Details: https://github.com/elastic/elasticsearch/pull/17288
discovery.zen.minimum_master_nodes: 1

# just for elasticsearch-head plugin
http.cors.enabled: true
http.cors.allow-origin: "*"
  1. 退出容器:exit
  2. 停止容器:docker stop elasticsearch-6.4.3
  3. 启动容器:docker start elasticsearch-6.4.3

※采坑点

#查看运行中的容器
>docker ps
#查看日志
> docker logs -f elasticsearch

如果遇到发现jvm内存不足,则修改elasticsearch的虚拟机配置项jvm.options文件

#原先的设置
#-Xms2g  
#-Xmx2g
#修改成以下的设置
-Xms512m  
-Xmx512m 

ElasticSearch的社区比较活跃可以经常逛逛:https://elasticsearch.cn/topic/elasticsearch
Elasticsearch: 权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,951评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,606评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,601评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,478评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,565评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,587评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,590评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,337评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,785评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,096评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,273评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,935评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,578评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,199评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,440评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,163评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,133评论 2 352