elasticsearch 进行聚合+去重查询

已客户customer为例
我想查询每日的客户数。
先按照日期分桶,然后在桶内按照 姓名来去重 来计算客户数(实际会按照客户id 来区分客户)
测试数据见 文章末尾
一共是9条数据, 名字分别为:
river Lucy 1 Lucy frank tom lily lily tom tom
不同的名字是 6 个。

先看看 es 的 query 怎么写

GET /es-customer/_search
{
  "size" : 0,
  "aggs" : {
      "days" : {
        "date_histogram": {
          "field": "createTime",
          "interval": "day"
        },
        "aggs": {
          "distinct_name" : {
              "cardinality" : {
                "field" : "firstName"
              }
          }
        }
      }
  }
}

查询结果为:

{
  "took": 0,
  "timed_out": false,
  "_shards": {
    "total": 2,
    "successful": 2,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 9,
    "max_score": 0,
    "hits": []
  },
  "aggregations": {
    "days": {
      "buckets": [
        {
          "key_as_string": "2019-04-10 00:00:00",
          "key": 1554854400000,
          "doc_count": 9,
          "distinct_name": {
            "value": 6
          }
        }
      ]
    }
  }
}

2019-04-10 当天查出了9条数据,去重后是6条。

现在就可以根据 查询写java代码了

    @Test
    public void testAggAndDistinct(){
        //获取注解,通过注解可以得到 indexName 和 type
        Document document = Customer.class.getAnnotation(Document.class);
        // dateHistogram  Aggregation 是时间柱状图聚合,按照天来聚合 , dataAgg 为聚合结果的名称,createTime 为字段名称
        // cardinality 用来去重
        SearchQuery searchQuery  = new NativeSearchQueryBuilder()
                .withQuery(matchAllQuery())
                .withSearchType(SearchType.QUERY_THEN_FETCH)
                .withIndices(document.indexName()).withTypes(document.type())
                .addAggregation(AggregationBuilders.dateHistogram("dataAgg").field("createTime").dateHistogramInterval(DateHistogramInterval.DAY)
                        .subAggregation(AggregationBuilders.cardinality("nameAgg").field("firstName")))
                .build();

        // 聚合的结果
        Aggregations aggregations = elasticsearchTemplate.query(searchQuery, response -> response.getAggregations());
        Map<String, Aggregation> results = aggregations.asMap();
        Histogram histogram = (Histogram) results.get("dataAgg");
        // 将bucket list 转换成 map , key -> 名字   value-> 出现次数
        histogram.getBuckets().stream().forEach(t->{
            Histogram.Bucket histogram1 = t;
            System.out.println(histogram1.getKeyAsString());
            Cardinality cardinality = histogram1.getAggregations().get("nameAgg");
            System.out.println(cardinality.getValue());
        });
    }

打印结果为

时间:2019-04-10 00:00:00
总数 :9
去重后数量:6

这是我们期望的结果。

测试数据

GET /es-customer/_search
{
  "query": {
    "match_all": {}
  }
}
{
  "took": 0,
  "timed_out": false,
  "_shards": {
    "total": 2,
    "successful": 2,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 9,
    "max_score": 1,
    "hits": [
      {
        "_index": "es-customer",
        "_type": "customer",
        "_id": "_z8_BmoB7Iqmj8bUCgie",
        "_score": 1,
        "_source": {
          "id": null,
          "firstName": "Lucy 1",
          "lastName": "001",
          "valid": null,
          "age": 13,
          "createTime": "2019-04-10 07:55:55"
        }
      },
      {
        "_index": "es-customer",
        "_type": "customer",
        "_id": "Aj8_BmoB7Iqmj8bUCwkY",
        "_score": 1,
        "_source": {
          "id": null,
          "firstName": "tom",
          "lastName": "001",
          "valid": null,
          "age": 44,
          "createTime": "2019-04-10 07:55:56"
        }
      },
      {
        "_index": "es-customer",
        "_type": "customer",
        "_id": "Az8_BmoB7Iqmj8bUCwk6",
        "_score": 1,
        "_source": {
          "id": null,
          "firstName": "lily",
          "lastName": "002",
          "valid": null,
          "age": 56,
          "createTime": "2019-04-10 07:55:56"
        }
      },
      {
        "_index": "es-customer",
        "_type": "customer",
        "_id": "BD8_BmoB7Iqmj8bUCwlc",
        "_score": 1,
        "_source": {
          "id": null,
          "firstName": "lily",
          "lastName": "004",
          "valid": null,
          "age": 53,
          "createTime": "2019-04-10 07:55:56"
        }
      },
      {
        "_index": "es-customer",
        "_type": "customer",
        "_id": "_j8_BmoB7Iqmj8bUCghV",
        "_score": 1,
        "_source": {
          "id": null,
          "firstName": "river",
          "lastName": "007",
          "valid": null,
          "age": 12,
          "createTime": "2019-04-10 07:55:55"
        }
      },
      {
        "_index": "es-customer",
        "_type": "customer",
        "_id": "AD8_BmoB7Iqmj8bUCgnH",
        "_score": 1,
        "_source": {
          "id": null,
          "firstName": "Lucy",
          "lastName": "002",
          "valid": null,
          "age": 22,
          "createTime": "2019-04-10 07:55:55"
        }
      },
      {
        "_index": "es-customer",
        "_type": "customer",
        "_id": "AT8_BmoB7Iqmj8bUCgnv",
        "_score": 1,
        "_source": {
          "id": null,
          "firstName": "frank",
          "lastName": "001",
          "valid": null,
          "age": 33,
          "createTime": "2019-04-10 07:55:56"
        }
      },
      {
        "_index": "es-customer",
        "_type": "customer",
        "_id": "BT8_BmoB7Iqmj8bUCwmC",
        "_score": 1,
        "_source": {
          "id": null,
          "firstName": "tom",
          "lastName": "002",
          "valid": null,
          "age": 66,
          "createTime": "2019-04-10 07:55:56"
        }
      },
      {
        "_index": "es-customer",
        "_type": "customer",
        "_id": "Bj8_BmoB7Iqmj8bUCwmp",
        "_score": 1,
        "_source": {
          "id": null,
          "firstName": "tom",
          "lastName": "005",
          "valid": null,
          "age": 33,
          "createTime": "2019-04-10 07:55:56"
        }
      }
    ]
  }
}
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,367评论 6 512
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,959评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,750评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,226评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,252评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,975评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,592评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,497评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,027评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,147评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,274评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,953评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,623评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,143评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,260评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,607评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,271评论 2 358

推荐阅读更多精彩内容

  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 11,000评论 6 13
  • MYSQL 基础知识 1 MySQL数据库概要 2 简单MySQL环境 3 数据的存储和获取 4 MySQL基本操...
    Kingtester阅读 7,820评论 5 116
  • --- layout: post title: "如果有人问你关系型数据库的原理,叫他看这篇文章(转)" date...
    蓝坠星阅读 794评论 0 3
  • 俗话说:“没有规矩,不成方圆。”也就是说国有国法,校有校规,家有家风。我家的家风是:“诚实守信,谦虚勤奋。”家人们...
    何佳欢阅读 292评论 3 1
  • 个人认为我是一个很纠结的人,我喜欢与不喜欢一个人很难区分。我一直认为天秤座的形容很符合我。我没有那么明显的爱憎分明...
    阴影里的光阅读 251评论 0 0