Spring boot 与ES 集成

集成的方式有很多,采用哪种方式好呢?这是我这这段是时间一直在做和考虑的问题。

先介绍一下背景。首先我们之前一直用的都是jestes 从整体上看没有什么大的问题。但是一定存在的存在的问题是jestes的api更新没有官方提供的api及时,另外bug修复速度也比较慢。使用jestes 低版2.X版本时还好没发现什么bug。但是由于es版本比较低性能和高版本es相比要差很多。所以升级了es版本到5.6.4,同时升级的jestes 版本到5.3.3 。首先遇到的问题是用MultiSearch的setParameter 方法不生效 后来重写了jeses 的一个来解决了这个问题。解决方案如下:

重写jestes io.searchbox.core包下的MultiSearch类的getData 方法 

public StringgetData(Gson gson) {

    StringBuilder sb =new StringBuilder();

    for (Search search :searches) {

sb.append("{\"index\" : \"").append(search.getIndex());

        if (!StringUtils.isBlank(search.getType())) {

sb.append("\", \"type\" : \"").append(search.getType());

        }

sb.append(getParameter(search, "ignore_unavailable"));

        sb.append(getParameter(search, "allow_no_indices"));

        sb.append(getParameter(search, "expand_wildcards"));

        sb.append(getParameter(search, "preference"));//这里是新增的

        final String query =NEWLINE_MATCHER.removeFrom(search.getData(gson));

        sb.append("\"}\n")

.append(query)

.append("\n");

    }

return sb.toString();

}

另外由于我们的搜索业务越来越复杂 导致sql写的也越来越复杂。代码中经常要根据不同的逻辑去拼sql字符串。相信你可以想象的到 用字符串来拼接多个不同逻辑的es sql 会是多大一堆的代码。虽然逻辑不是特别复杂可以每次看到这里的代码总觉得就是一堆垃圾。看上去心烦。

后来趁着搜索重构升级 打算采用es提供的原生api 。经过网上资料的查找 发现升级到5以后 es client 支持rest 的连接方式了。刚开始觉得 还是用transportclient好一点 毕竟es从1.x 开始就支持这种连接方式了。后来发现 这种transport的方式查询性能要差很多。同一个查询语句用restclient 只需要40ms 可是用transportclient 要200ms 。这性能差的不是一点点。另外进一步查了资料发现 transportclient 在高并发时还很不稳定。后来就果断的使用了restclient。

后来查资料发现我的选择是明智的。因为es 官网已经明确说了

1.计划在es7中删除transportclient es8会彻底删除。

2.RestHighLevelClient 目前已经支持了常用的api。言外之意就是不常用还不支持。

下面说说springboot 集成 restclient 时遇到的问题。

因为我们es服务端选用了5.6.4 所以RestHighLevelClient 客户端我们也选用了5.6.4。集成pom.xml 文件如下:

    <groupId>org.elasticsearch.client</groupId>

    <artifactId>elasticsearch-rest-client<artifactid>

    <version>5.6.4</version>

    <groupId>org.elasticsearch.client</groupId>

    <artifactId>elasticsearch-rest-high-level-client</artifactId>

    <version>5.6.4</version>


问题来了 这个版本的客户端不支持 highLevelClient.multiSearch()api

但是我们又必须要使用这个api。

怎么解决这个问题呢?后来想到可以试试高版本的RestHighLevelClient 向下兼容做的怎么样。

我们选用了RestHighLevelClient  6.3.2 版本的客户端。集成pom.xml 如下:

<groupId>org.elasticsearch.client</groupId>    

<artifactId>elasticsearch-rest-client<artifactid>

    <version>6.3.2</version>

    <groupId>org.elasticsearch.client</groupId>

    <artifactId>elasticsearch-rest-high-level-client</artifactId>

    <version>6.3.2</version>

这个版本已经实现了我们需要的highLevelClient.multiSearch()api 但是执行方法时报如下错误:

Caused by: java.lang.NoSuchMethodError: org.elasticsearch.action.admin.indices.create.CreateIndexResponse.fromXContent

后来发现即使 我们上面的pom.xml 中已经配置了6.3.2 版本的依赖。可以org.elasticsearch报的依赖还是5.6.10 版本的。

所以在pom.xml 添加如下配置复写这个包。

    <groupId>org.elasticsearch</groupId>

    <artifactId>elasticsearch</artifactId>

    <version>6.3.2</version>

然后重新导包 重启服务终于一切正常了!!!!!!!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,794评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,050评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,587评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,861评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,901评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,898评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,832评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,617评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,077评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,349评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,483评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,199评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,824评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,442评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,632评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,474评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,393评论 2 352

推荐阅读更多精彩内容

  • 很喜欢微博上看到的一段话。 生命的意义通常比我们现在看到的、体验到的、想象到的都大多了。物质世界只是我们学会的一种...
    尚大大o_O阅读 658评论 0 1
  • 我将赤足 踏着浪花 感受你 缱倦的温柔 荡漾的 细腻的 抚摸 当水波泛起 当思念涌入 亲爱的你 为何 为何一去不返
    木漠然阅读 565评论 2 6
  • 这个故事是阿拉伯历史学家阿里·伊夏吉在哈里发阿里·马姆恩(公元786-833年)在位的时候讲的: 有些值得信任的人...
    简柴先生阅读 1,153评论 0 0
  • 早上醒来,懒懒的不想起床,才20度的秋天,已经起床靠勇气了,暖暖的被窝让人好留恋。预测再不起床就要迟到,才不得不起...
    佩奇_阅读 238评论 1 1