DSL结构化查询

查询的分类

Leaf query Cluase 叶子查询(简单查询)

这种查询可以单独使用,针对指定的字段查询指定的值。

Compound query clauses 复杂查询

复杂查询可以包含叶子或者其它的复杂查询语句,用于组合成复杂的查询语句,比如not, bool等。

查询虽然包含这两种,但是查询的行为还与查询的执行环境有关,不同的执行环境,查询操作也不一样。查询的行为取决于他们所在的查询上下文,包括Query查询上下文Filter查询上下文

查询与过滤

Query查询上下文

在Query查询上下文中,查询会回答这个问题:这个文档匹不匹配查询条件?它的相关性高么?

除了决定文档是够匹配,针对匹配的文档,查询语句还会计算一个相关性分值,分数越高,匹配度越高,默认返回是越靠前。

Filter查询上下文

在Filter过滤器上下文中,查询会回答这个问题:这个文档是否匹配?

这个结果要么“不是”要么“是”,不会计算分值问题,也不会关心返回的排序问题,这样性能方面就比Query查询高了。Filter过滤器主要用于过滤结构化数据,例如:时间戳范围是否在2015-2016之间?status字段是否被设置成“published"?另外,常用的过滤器会自动缓存Elasticsearch,加速性能。

原则上来说,使用查询语句做全文本搜索或其他需要进行相关性评分的时候,剩下的全部用过滤语句。

两段不同的检索方式
query检索
filter检索

语法

1. 增删改查关键字

PUT 新建

  • 新建索引 PUT /$index
  • 新建文档 PUT /$index/$type/$document_id (修改文档和新建文档的方式是一样的,id相同的情况下,数据会被覆盖)

DELETE 删除

  • 删除索引配置 DELETE /$index
  • 删除文档 DELETE /$index/$type/$document_id

GET/POST 查询

  • 查询索引配置 GET /$index/_settings | POST /$index/_settings
  • 查询文档 GET /$index/$type/_search | POST /$index/$type/_search (无type可不加type)

2. 全文检索

2.1 过滤

  • term 过滤

term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经切词的文本数据类型)。

{ "term": { "date":   "2017-07-01" }} 
{ "term": { "title":    "内蒙古"  }}

我们在外层再加入 query 的上下文关系,就是完整的例子。如下,过滤所有文章标题是内蒙古的。

{ 
  "query": { 
    "term": { 
      "title": "内蒙古" 
    } 
  } 
}
  • terms 过滤

terms 跟 term 有点类似,但 terms 允许指定多个匹配条件。 如果某个字段指定了多个值,那么文档需要一起去做匹配。

{
    "terms": {"title": [  "内蒙古",  "黑龙江"  ] }
}

完整的例子,所有文章标题是 内蒙古 或 黑龙江 的:

{
  "query": {
    "terms": {
      "title": [
        "内蒙古",
        "黑龙江"
      ]
    }
  }
}
  • range 过滤

range过滤允许我们按照指定范围查找一批数据。范围操作符包含:【gt :: 大于 】 【 gte:: 大于等于 】【 lt :: 小于 】【lte:: 小于等于】

一个完整的例子, 查询发表时间在2017-06-25和2017-07-01之间的数据。

{
  "query": {
    "range": {
      "pubTime": {
        "gt": "2017-06-25",
        "lt": "2017-07-01"
      }
    }
  }
}
  • exists 和 missing 过滤

exists 和 missing 过滤可以用于查找文档中是否包含指定字段或没有某个字段,类似于SQL语句中的IS_NULL条件。

这两个过滤只是针对已经查出一批数据来,但是想区分出某个字段是否存在的时候使用。

{ 
    "exists":   { 
        "field":    "title" 
    } 
} 
  • bool 过滤

bool 过滤可以用来合并多个过滤条件查询结果的布尔逻辑,它包含一下操作符:

  1. must :: 多个查询条件的完全匹配,相当于 and。
  2. must_not :: 多个查询条件的相反匹配,相当于 not。
  3. should :: 至少有一个查询条件匹配, 相当于 or。

这些参数可以分别继承一个过滤条件或者一个过滤条件的数组:

{ 
    "bool": { 
        "must":     { "term": { "folder": "inbox" }}, 
        "must_not": { "term": { "tag":    "spam"  }}, 
        "should": [ 
                    { "term": { "starred": true   }}, 
                    { "term": { "unread":  true   }} 
        ] 
    } 
}
  • filter 过滤器

官方例子如下:

GET /_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title":   "Search"        }},
        { "match": { "content": "Elasticsearch" }}
      ],
      "filter": [
        { "term":  { "status": "published" }},
        { "range": { "publish_date": { "gte": "2015-01-01" }}}
      ]
    }
  }
}
  • filter 参数则表示这个子查询处于 filter context 中
  • filter 语句中的 term 和 range 语句用在 filter context 中,它们只起到过滤的作用,并不会计算文档的得分。

如果你想同时使用 query 和 filter 查询的话,需要使用 {query:{filtered:{}}}包含这两个查询语法。好处是,借助于filter的速度可以快速过滤出文档,然后再由query根据条件来匹配。

# SELECT document FROM products where price = 20
# filtered 查询价格是20的商品
GET /store/products/_search
{
  "query": {
    "filtered": {
      "query": {
        "match_all": {}
      },
      "filter": {
        "term": {
          "price": 200
        }
      }
    }
  }
}
 
 
# 也可以指定多个值
GET /store/products/_search
{
  "query": {
    "filtered": {
      "filter": {
        "terms": {
          "price": [10, 20]
        }
      }
    }
  }
}

# SELECT product FROM products WHERE productID = "SD4535233"
# 由于默认分析器进行分析,会将大写转小写
GET /store/products/_search
{
  "query": {
    "filtered": {
      "filter": {
        "term": {
          "productID": "sd4535233"
        }
      }
    }
  }
}

2.2 查询

  • match_all 查询

可以查询到所有文档,是没有查询条件下的默认语句。

{ 
    "match_all": {} 
}
  • match 查询

match查询是一个标准查询,不管你需要全文本查询还是精确查询基本上都要用到它。

如果你使用 match 查询一个全文本字段,它会在真正查询之前用分析器先分析match一下查询字符:

{
  "query": {
    "match": {
      "content": "韩国 上海 北京"
    }
  }
}

match查询只能就指定某个确切字段某个确切的值进行搜索,而你要做的就是为它指定正确的字段名以避免语法错误。

{ "match": { "age": 12}} 
{ "match": { "pubTime":   "2017-07-01" }} 
{ "match": { "title":    "韩国"  }}
  • multi_match 查询

multi_match查询允许你做match查询的基础上同时搜索多个字段,在多个字段中同时查一个。

查询文章标题和内容包含乌鲁木齐的数据:

{
  "query": {
    "multi_match": {
      "query": "乌鲁木齐",
      "fields": [
        "title",
        "content"
      ]
    }
  }
}
  • bool 查询

bool 查询与 bool 过滤相似,用于合并多个查询子句。不同的是,bool 过滤可以直接给出是否匹配成功, 而bool 查询要计算每一个查询子句的 _score (相关性分值)。

  1. must:: 查询指定文档一定要被包含。
  2. must_not:: 查询指定文档一定不要被包含。
  3. should:: 查询指定文档,有则可以为文档相关性加分。

以下查询将会找到 title 字段中包含 "how to make millions",并且 "tag" 字段没有被标为 spam。 如果有标识为 "starred" 或者发布日期为2014年之前。

{ 
    "bool": { 
        "must":     { "match": { "title": "how to make millions" }}, 
        "must_not": { "match": { "tag":   "spam" }}, 
        "should": [ 
            { "match": { "tag": "starred" }}, 
            { "range": { "date": { "gte": "2014-01-01" }}} 
        ] 
    } 
}

提示: 如果bool 查询下没有must子句,那至少应该有一个should子句。但是 如果有must子句,那么没有should子句也可以进行查询。

  • wildcards 查询

使用标准的shell通配符查询。

以下查询能够匹配包含W1F 7HW和W2F 8HW的文档:

{ 

    "query": { 
        "wildcard": { 
            "postcode": "W?F*HW" 
        } 
    } 
}

又比如下面查询 hostname 匹配下面shell通配符的:

{
  "query": {
    "wildcard": {
      "title": "乌鲁*"
    }
  }
}
  • regexp 查询

假设您只想匹配以W开头,紧跟着数字的邮政编码。使用regexp查询能够让你写下更复杂的模式:

{ 
    "query": { 
        "regexp": { 
            "postcode": "W[0-9].+" 
        } 
    } 
}

这个正则表达式的规定了词条需要以W开头,紧跟着一个0到9的数字,然后是一个或者多个其它字符。

下面例子是所有以 wxopen 开头的正则:

{ 
  "query": { 
    "regexp": { 
      "hostname": "wxopen.*" 
    } 
  } 
}
  • prefix 查询

以什么字符开头的,可以更简单地用 prefix,如下面的例子:

{
  "query": {
    "prefix": {
      "title": "美味的"
    }
  }
}
  • 短语匹配(Phrase Matching)

当你需要寻找邻近的几个单词时,你会使用match_phrase查询:

{
  "query": {
    "match_phrase": {
      "content": "端午 旅游 云南"
    }
  }
}

和match查询类似,match_phrase查询首先解析查询字符串来产生一个词条列表。然后会搜索所有的词条,但只保留含有了所有搜索词条的文档,并且词条的位置要邻接。

match_phrase查询也可以写成类型为phrase的match查询:

{
  "query": {
    "match": {
      "content": {
        "query": "端午 旅游 云南",
        "type": "phrase"
      }
    }
  }
}

2.3 处理返回内容

  • _source (source filter)

通过在_source中指定 includes 和 excludes,控制查询结果中哪些source字段要返回、哪些source字段不需要返回。 "_source": false (不指定source字段)、"_source": ["wheather"] (指定返回源字段wheather)。

{
    "_source": {
        "includes": [ "obj1.*", "obj2.*" ],
        "excludes": [ "*.description" ]
    },
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}
  • sort 排序

可以指定按一个或多个字段排序。也可通过_score指定按评分值排序,_doc 按索引顺序排序。默认是按相关性评分从高到低排序。

//order 值:asc、desc。如果不给定,默认是asc,_score默认是desc
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "age": {
        "order": "desc"
      }    },
    {
      "balance": {
        "order": "asc"
      }    },
    "_score"
  ]
}
  • docvalue_fields

允许返回每个表示命中字段的文档值。

{
    "query" : {
        "match_all": {}
    },
    "docvalue_fields" : ["test1", "test2"]
}

请注意,如果fields参数指定了没有docvalues的字段,它将尝试从fielddata缓存加载值,导致该字段的项被加载到内存(缓存),这将导致更多的内存消耗。

  • explain 返回文档的评分解释
{
    "explain": true,
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}
  • min_score 限制最低评分得分
{
    "min_score": 0.5,
    "query" : {
        "term" : { "user" : "kimchy" }
    }
}
  • post_filter 后置过滤

在查询命中文档、完成聚合后,再对命中的文档进行过滤。

如:要在一次查询中查询品牌为gucci且颜色为红色的shirts,同时还要得到gucci品牌各颜色的shirts的分面统计。

{
  "query": {
    "bool": {
      "filter": {
        "term": { "brand": "gucci" } 
      }
    }
  },
  "aggs": {
    "colors": {
      "terms": { "field": "color" } 
    }
  },
  "post_filter": { 
    "term": { "color": "red" }
  }
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容

  • 前言 ES提供了丰富多彩的查询接口,可以满足各种各样的查询要求。更多内容请参考: ELK修炼之道 Query DS...
    小七奇奇阅读 240评论 0 0
  • 前言 ES提供了丰富多彩的查询接口,可以满足各种各样的查询要求。更多内容请参考: ELK修炼之道 Query DS...
    小七奇奇阅读 2,350评论 0 0
  • 原文:https://my.oschina.net/liuyuantao/blog/751438 查询集API 参...
    阳光小镇少爷阅读 3,815评论 0 8
  • 七夕, 中国式情人节, 故事总把爱情修饰的很美丽, 芸芸众生,总能明白,看破红尘, 方能乐意。
    九沁沁阅读 68评论 0 1
  • 包包是小版,容量不算特别大但是也还蛮能装的,没有配件也很可爱哟,搭配上泡芙花一瞬间又多了一些小清新元素。 图解如下...
    lalalalalynne阅读 1,042评论 0 0