springboot中ElasticSearch入门与进阶:组合查询、聚合查询

一:文档对象如下

@Data

@AllArgsConstructor

@NoArgsConstructor

@Document(indexName = "items", type = "item",shards = 5, replicas = 1)publicclassItemimplements Serializable {

    @Id

    private Long id;

    /**标题*/    @Field(type = FieldType.Text, analyzer = "ik_max_word", searchAnalyzer = "ik_max_word")

    private String title;

    /**分类*/    @Field(type = FieldType.Keyword)

    private String category;

    /**品牌*/    @Field(type = FieldType.Text,  analyzer = "ik_max_word", searchAnalyzer = "ik_max_word")

    private String brand;

    /**价格*/    @Field(type = FieldType.Double)

    private Double price;

    /**图片地址*/    @Field(index =false, type = FieldType.Keyword)

    private String images;

}

二:非聚合复杂查询(这儿展示了非聚合复杂查询的常用流程)

publicvoid listPage(){

        //1.创建QueryBuilder(即设置查询条件)这儿创建的是组合查询(也叫多条件查询),后面会介绍更多的查询方法/*组合查询BoolQueryBuilder

        * must(QueryBuilders)  :AND

        * mustNot(QueryBuilders):NOT

        * should:              :OR

        */        BoolQueryBuilder builder = QueryBuilders.boolQuery();

        //builder下有must、should以及mustNot 相当于sql中的and、or以及not

        //设置模糊搜索,博客的简诉中有学习两个字builder.must(QueryBuilders.fuzzyQuery("category", "一级"));

        //设置要查询博客的标题中含有关键字//        builder.must(new QueryStringQueryBuilder("title").field("阿迪达斯裤子"));

        //按照博客的评论数的排序是依次降低FieldSortBuilder sort = SortBuilders.fieldSort("price").order(SortOrder.DESC);

        //设置分页(从第一页开始,一页显示10条)

        //注意开始是从0开始,有点类似sql中的方法limit 的查询PageRequest page =newPageRequest(0, 10);

        //2.构建查询NativeSearchQueryBuilder nativeSearchQueryBuilder =new NativeSearchQueryBuilder();

        //将搜索条件设置到构建中        nativeSearchQueryBuilder.withQuery(builder);

        //将分页设置到构建中        nativeSearchQueryBuilder.withPageable(page);

        //将排序设置到构建中        nativeSearchQueryBuilder.withSort(sort);

        //生产NativeSearchQueryNativeSearchQuery query = nativeSearchQueryBuilder.build();

        //3.执行方法1Page itemPage = itemRespository.search(query);

        //执行方法2:注意,这儿执行的时候还有个方法那就是使用elasticsearchTemplate

        //执行方法2的时候需要加上注解

        //@Autowired

        //private ElasticsearchTemplate elasticsearchTemplate;List blogList = elasticsearchTemplate.queryForList(query, Item.class);

        //4.获取总条数(用于前端分页)inttotal = (int) itemPage.getTotalElements();

        //5.获取查询到的数据内容(返回给前端)List content = itemPage.getContent();

        System.out.println(total);

        System.out.println(content);

    }

三:精确查询(必须完全匹配上)

单个匹配termQuery

//不分词查询 参数1: 字段名,参数2:字段查询值,因为不分词,所以汉字只能查询一个字,英语是一个单词.QueryBuilder queryBuilder=QueryBuilders.termQuery("fieldName", "fieldlValue");//分词查询,采用默认的分词器QueryBuilder queryBuilder2 = QueryBuilders.matchQuery("fieldName", "fieldlValue");

多个匹配

//不分词查询,参数1: 字段名,参数2:多个字段查询值,因为不分词,所以汉字只能查询一个字,英语是一个单词.QueryBuilder queryBuilder=QueryBuilders.termsQuery("fieldName", "fieldlValue1","fieldlValue2...");//分词查询,采用默认的分词器QueryBuilder queryBuilder= QueryBuilders.multiMatchQuery("fieldlValue", "fieldName1", "fieldName2", "fieldName3");//匹配所有文件,相当于就没有设置查询条件QueryBuilder queryBuilder=QueryBuilders.matchAllQuery();

四:模糊查询(只要包含即可)

//模糊查询常见的5个方法如下//1.常用的字符串查询QueryBuilders.queryStringQuery("fieldValue").field("fieldName");//左右模糊//2.常用的用于推荐相似内容的查询QueryBuilders.moreLikeThisQuery(newString[] {"fieldName"}).addLikeText("pipeidhua");//如果不指定filedName,则默认全部,常用在相似内容的推荐上//3.前缀查询  如果字段没分词,就匹配整个字段前缀QueryBuilders.prefixQuery("fieldName","fieldValue");//4.fuzzy query:分词模糊查询,通过增加fuzziness模糊属性来查询,如能够匹配hotelName为tel前或后加一个字母的文档,fuzziness 的含义是检索的term 前后增加或减少n个单词的匹配查询QueryBuilders.fuzzyQuery("hotelName", "tel").fuzziness(Fuzziness.ONE);//5.wildcard query:通配符查询,支持* 任意字符串;?任意一个字符QueryBuilders.wildcardQuery("fieldName","ctr*");//前面是fieldname,后面是带匹配字符的字符串QueryBuilders.wildcardQuery("fieldName","c?r?");

五:范围查询

//闭区间查询QueryBuilder queryBuilder0 = QueryBuilders.rangeQuery("fieldName").from("fieldValue1").to("fieldValue2");//开区间查询QueryBuilder queryBuilder1 = QueryBuilders.rangeQuery("fieldName").from("fieldValue1").to("fieldValue2").includeUpper(false).includeLower(false);//默认是true,也就是包含//大于QueryBuilder queryBuilder2 = QueryBuilders.rangeQuery("fieldName").gt("fieldValue");//大于等于QueryBuilder queryBuilder3 = QueryBuilders.rangeQuery("fieldName").gte("fieldValue");//小于QueryBuilder queryBuilder4 = QueryBuilders.rangeQuery("fieldName").lt("fieldValue");//小于等于QueryBuilder queryBuilder5 = QueryBuilders.rangeQuery("fieldName").lte("fieldValue");

六:组合查询/多条件查询/布尔查询

QueryBuilders.boolQuery()

QueryBuilders.boolQuery().must();//文档必须完全匹配条件,相当于andQueryBuilders.boolQuery().mustNot();//文档必须不匹配条件,相当于notQueryBuilders.boolQuery().should();//至少满足一个条件,这个文档就符合should,相当于or

七:聚合查询

Elasticsearch有一个功能叫做 聚合(aggregations) ,它允许你在数据上生成复杂的分析统计。它很像SQL中的 GROUP BY 但是功能更强大。

为了掌握聚合,你只需要了解两个主要概念:(参考https://blog.csdn.net/dm_vincent/article/details/42387161)

Buckets(桶):满足某个条件的文档集合。

Metrics(指标):为某个桶中的文档计算得到的统计信息。

就是这样!每个聚合只是简单地由一个或者多个桶,零个或者多个指标组合而成。可以将它粗略地转换为SQL:

SELECTCOUNT(color) FROMtableGROUPBYcolor

以上的COUNT(color)就相当于一个指标。GROUP BY color则相当于一个桶。

桶和SQL中的组(Grouping)拥有相似的概念,而指标则与COUNT(),SUM(),MAX()等相似。

让我们仔细看看这些概念。

桶(Buckets)

一个桶就是满足特定条件的一个文档集合:

一名员工要么属于男性桶,或者女性桶。

城市Albany属于New York州这个桶。

日期2014-10-28属于十月份这个桶。

随着聚合被执行,每份文档中的值会被计算来决定它们是否匹配了桶的条件。如果匹配成功,那么该文档会被置入该桶中,同时聚合会继续执行。

桶也能够嵌套在其它桶中,能让你完成层次或者条件划分这些需求。比如,Cincinnati可以被放置在Ohio州这个桶中,而整个Ohio州则能够被放置在美国这个桶中。

ES中有很多类型的桶,让你可以将文档通过多种方式进行划分(按小时,按最流行的词条,按年龄区间,按地理位置,以及更多)。但是从根本上,它们都根据相同的原理运作:按照条件对文档进行划分。

指标(Metrics)

桶能够让我们对文档进行有意义的划分,但是最终我们还是需要对每个桶中的文档进行某种指标计算。分桶是达到最终目的的手段:提供了对文档进行划分的方法,从而让你能够计算需要的指标。

多数指标仅仅是简单的数学运算(比如,min,mean,max以及sum),它们使用文档中的值进行计算。在实际应用中,指标能够让你计算例如平均薪资,最高出售价格,或者百分之95的查询延迟。

将两者结合起来

一个聚合就是一些桶和指标的组合。一个聚合可以只有一个桶,或者一个指标,或者每样一个。在桶中甚至可以有多个嵌套的桶。比如,我们可以将文档按照其所属国家进行分桶,然后对每个桶计算其平均薪资(一个指标)。

因为桶是可以嵌套的,我们能够实现一个更加复杂的聚合操作:

①:将文档按照国家进行分桶。(桶)

②:然后将每个国家的桶再按照性别分桶。(桶)

③:然后将每个性别的桶按照年龄区间进行分桶。(桶)

④:最后,为每个年龄区间计算平均薪资。(指标)

聚合查询都是由AggregationBuilders创建的,一些常见的聚合查询如下(1)统计某个字段的数量

  ValueCountBuilder vcb=  AggregationBuilders.count("count_uid").field("uid");

(2)去重统计某个字段的数量(有少量误差)

CardinalityBuilder cb= AggregationBuilders.cardinality("distinct_count_uid").field("uid");

(3)聚合过滤

FilterAggregationBuilder fab= AggregationBuilders.filter("uid_filter").filter(QueryBuilders.queryStringQuery("uid:001"));

(4)按某个字段分组

TermsBuilder tb=  AggregationBuilders.terms("group_name").field("name");

(5)求和

SumBuilder  sumBuilder=    AggregationBuilders.sum("sum_price").field("price");

(6)求平均

AvgBuilder ab= AggregationBuilders.avg("avg_price").field("price");

(7)求最大值

MaxBuilder mb= AggregationBuilders.max("max_price").field("price");

(8)求最小值

MinBuilder min=    AggregationBuilders.min("min_price").field("price");

(9)按日期间隔分组

DateHistogramBuilder dhb= AggregationBuilders.dateHistogram("dh").field("date");

(10)获取聚合里面的结果

TopHitsBuilder thb=  AggregationBuilders.topHits("top_result");

(11)嵌套的聚合

NestedBuilder nb= AggregationBuilders.nested("negsted_path").path("quests");

(12)反转嵌套

AggregationBuilders.reverseNested("res_negsted").path("kps ");

聚合查询的详细使用步骤如下:

publicvoid aggregation(){

        //目标:搜索写博客写得最多的用户(一个博客对应一个用户),通过搜索博客中的用户名的频次来达到想要的结果

        //首先新建一个用于存储数据的集合List ueserNameList=newArrayList<>();

        //1.创建查询条件,也就是QueryBuildQueryBuilder matchAllQuery = QueryBuilders.matchAllQuery();//设置查询所有,相当于不设置查询条件

        //2.构建查询NativeSearchQueryBuilder nativeSearchQueryBuilder =new NativeSearchQueryBuilder();

        //2.0 设置QueryBuilder        nativeSearchQueryBuilder.withQuery(matchAllQuery);

        //2.1设置搜索类型,默认值就是QUERY_THEN_FETCH,参考https://blog.csdn.net/wulex/article/details/71081042nativeSearchQueryBuilder.withSearchType(SearchType.QUERY_THEN_FETCH);//指定索引的类型,只先从各分片中查询匹配的文档,再重新排序和排名,取前size个文档

        //2.2指定索引库和文档类型nativeSearchQueryBuilder.withIndices("items").withTypes("item");//指定要查询的索引库的名称和类型,其实就是我们文档@Document中设置的indexName和type

        //2.3重点来了!!!指定聚合函数,本例中以某个字段分组聚合为例(可根据你自己的聚合查询需求设置)

        //该聚合函数解释:计算该字段(假设为username)在所有文档中的出现频次,并按照降序排名(常用于某个字段的热度排名)AbstractAggregationBuilder aggregation = AggregationBuilders.terms("给聚合查询取的名").field("category");

        AvgAggregationBuilder avgAggregationBuilder= AggregationBuilders.avg("avg_price").field("price");

        nativeSearchQueryBuilder.addAggregation(avgAggregationBuilder);

        //2.4构建查询对象NativeSearchQuery nativeSearchQuery = nativeSearchQueryBuilder.build();

        //3.执行查询

        //3.1方法1,通过reporitory执行查询,获得有Page包装了的结果集Page search = itemRespository.search(nativeSearchQuery);

        List content = search.getContent();

        for (Item esBlog : content) {

            ueserNameList.add(esBlog.getTitle());

        }

        //获得对应的文档之后我就可以获得该文档的作者,那么就可以查出最热门用户了

        //3.2方法2,通过elasticSearch模板elasticsearchTemplate.queryForList方法查询List queryForList = elasticsearchTemplate.queryForList(nativeSearchQuery, Item.class);

        //3.3方法3,通过elasticSearch模板elasticsearchTemplate.query()方法查询,获得聚合(常用)Aggregations aggregations = elasticsearchTemplate.query(nativeSearchQuery,newResultsExtractor() {

            @Override

            public Aggregations extract(SearchResponse response) {

                return response.getAggregations();

            }

        });

        //转换成map集合Map aggregationMap = aggregations.asMap();

        //获得对应的聚合函数的聚合子类,该聚合子类也是个map集合,里面的value就是桶Bucket,我们要获得BucketStringTerms stringTerms = (StringTerms) aggregationMap.get("给聚合查询取的名");

        //获得所有的桶List buckets = stringTerms.getBuckets();

        //将集合转换成迭代器遍历桶,当然如果你不删除buckets中的元素,直接foreach遍历就可以了Iterator iterator = buckets.iterator();

        while(iterator.hasNext()) {

            //bucket桶也是一个map对象,我们取它的key值就可以了String username = iterator.next().getKeyAsString();//或者bucket.getKey().toString();

            //根据username去结果中查询即可对应的文档,添加存储数据的集合            ueserNameList.add(username);

        }

        System.out.println(ueserNameList);

    }

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容