elasticsearch基本查询笔记(三)-- es查询总结

ES与RDBMS数据库比较

简单对比

RDBMS Elasticsearch 备注
Database(数据库) Index(索引)
Table(表) Type(类型) ES6.x后一个index对应一个type
Row(行) Docment(文档) es保存json
Column(列) Field(字段)
Schema(约束) Mapping(映射) 只能说类似,不完全一样
Index(所以) Everything is indexed(万物皆为索引) es中存储数据都是索引
SQL(结构化查询语言) DSL(ES独特的查询语言)

索引

1、结构化索引

针对字段类型: 日期、时间、数字类型,以及精确的文本匹配。
结构化检索特点:

  1. 结构化查询,我们得到的结果 总是 非是即否,要么存于集合之中,要么存在集合之外。
  2. 结构化查询不关心文件的相关度或评分;它简单的对文档包括或排除处理。

1.1 精确值查找

1.1.1 单个精确值查找(term query)

term 查询是简单查询,接受一个字段名和参数,进行精准查询,类似sql中:

select *  from logs where level ='INFO'

ES中对应的DSL如下:

GET logstash-logs-api-2019.03/_search
{
  "query": {
    "term": {
      "level": {
        "value": "INFO"
      }
    }
  }
}
1.1.2 字符串类型精确查询

在ES5.x及以上版本,字符串类型需设置为keyword或text类型,根据类型来进行精确值匹配。

当进行精确值查询,可以使用过滤器,因为过滤器的执行非常快,不会计算相关度(ES会计算查询评分),且过滤器查询结果容易被缓存。

GET test_index/user/_search
{
  "query": {
   "constant_score": {
     "filter": {
       "term": {
         "school": "world"
       }
     },
     "boost": 1.2
   }
  }
}
1.1.3 布尔过滤器

bool过滤器组成部分:

{
   "bool" : {
      "must" :     [],
      "should" :   [],
      "must_not" : [],
      "filter":    []
   }
}
  • must 所有的语句都 必须(must) 匹配,与 AND 等价。
  • must_not 所有的语句都 不能(must not) 匹配,与 NOT 等价。
  • should 至少有一个语句要匹配,与 OR 等价。
  • filter 必须匹配,运行在非评分&过滤模式。

当我们需要多个过滤器时,只须将它们置入 bool 过滤器的不同部分即可。

1.1.4 多值精确查询(terms query)

terms是包含的意思,如下:

GET test_index/_search
{
  "query": {
    "terms": {
      "name": [
        "奥尼尔",
        "麦迪"
      ]
    }
  }
}

name包含["奥尼尔","麦迪"]

返回结果:

{
  "took": 2,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 2,
    "max_score": 1,
    "hits": [
      {
        "_index": "test_index",
        "_type": "user",
        "_id": "9lrZpGkBcbRJikqNMPkF",
        "_score": 1,
        "_source": {
          "name": "奥尼尔"
        }
      },
      {
        "_index": "test_index",
        "_type": "user",
        "_id": "91rZpGkBcbRJikqNNPm5",
        "_score": 1,
        "_source": {
          "name": "麦迪"
        }
      }
    ]
  }
}

1.2 范围检索(range query)

range查询可同时提供包含(inclusive)和不包含(exclusive)这两种范围表达式,可供组合的选项如下:

gt: > 大于(greater than)
lt: < 小于(less than)
gte: >= 大于或等于(greater than or equal to)
lte: <= 小于或等于(less than or equal to)

类似sql中的范围查询:

SELECT document FROM test_index WHERE age BETWEEN 10 AND 30

ES中对应的DSL如下:

GET test_index/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "age": {
              "gte": 10,
              "lte": 30
            }
          }
        }
      ]
    }
  }
}

1.3 存在与否检索(exist query)

如下sql,age不为null:

SELECT * FROM test_index WHERE age IS NOT NULL

ES中对应的DSL如下:

GET test_index/_search
{
  "query": {
    "bool": {
      "must": {
        "exists": {
          "field": "age"
        }
      }
    }
  }
}

如下sql,age为null:

SELECT * FROM test_index WHERE age IS NULL

ES中对应的DSL如下:

GET test_index/_search
{
  "query": {
    "bool": {
      "must_not": {
        "exists": {
          "field": "age"
        }
      }
    }
  }
}

注:missing查询在5.x版本已经不存在。

1.4 前缀检索(Prefix Query)

匹配包含 not analyzed(未分词分析)的前缀字符:

GET test_index/_search
{
  "query": {
    "prefix": {
      "name": {
        "value": "奥"
      }
    }
  }
}

1.5 通配符检索( Wildcard Query)

匹配具有匹配通配符表达式( (not analyzed )的字段的文档。 支持的通配符:

1)* 它匹配任何字符序列(包括空字符序列);

2)? 它匹配任何单个字符。

请注意,此查询可能很慢,因为它需要遍历多个术语。
为了防止非常慢的通配符查询,通配符不能以任何一个通配符*****或?开头。

GET test_index/_search
{
  "query": {
    "wildcard": {
      "name": {
        "value": "奥*"
      }
    }
  }
}

1.6 正则表达式检索(Regexp Query)

正则表达式查询允许您使用正则表达式术语查询。
举例如下:

GET /_search
{
  "query": {
  "regexp":{
  "name.first": "s.*y"
  }
  }
}

注意: *的匹配会非常慢,你需要使用一个长的前缀,
通常类似.*?+通配符查询的正则检索性能会非常低。

1.7 模糊检索(Fuzzy Query)

模糊查询查找在模糊度中指定的最大编辑距离内的所有可能的匹配项,然后检查术语字典,以找出在索引中实际存在待检索的关键词。

GET test_index/_search
{
  "query": {
   "fuzzy": {
     "name": {"value": "奥尼尔"}
   }
  }
}

1.8 类型检索(Type Query)

举例:

GET test_index/_search
{
 "query": {
   "type":{
     "value":"user"
   }
 } 
}

检索索引test_index中,type为user的全部信息。不过在es6.x版本,一个index仅有一个type,未来es7.x版本,将取消type,所以这个查询没啥意义。

1.9 Ids检索(Ids Query)

返回指定id的全部信息。

GET test_index/_search
{
 "query": {
   "ids": {
     "values": ["-FresmkBcbRJikqNGfkf","-VresmkBcbRJikqNQfli"]
   }
 } 
} 

2、全文检索

全文检索查询,是通过分析器,对查询条件进行分析,然后在全文本字段进行全文查询。

全文搜索取决于mapping中设定的analyzer(分析器),这里使用的是ik分词器。

所以在进行查询开发时候,需要先了解index的mapping,从而选择查询方式。

2.1 匹配检索(Match Query)

匹配查询接受文本/数字/日期类型,分析它们,并构造查询。

对查询传入参数进行分词,搜索词语相同文档。

GET logstash-productspus/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "ProductOriginalName": "激光"
          }
        }
      ]
    }
  }
}

2.2 匹配短语检索(Match_Phrase Query)

match_phrase查询分析文本,并从分析文本中创建短语查询。

GET logstash-productspus/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match_phrase": {
            "ProductOriginalName": "激光"
          }
        }
      ]
    }
  }
}

2.3 匹配解析前缀检索(Match_Phrase_Prefix)

用户已经渐渐习惯在输完查询内容之前,就能为他们展现搜索结果,这就是所谓的即时搜索(instant search) 或输入即搜索(search-as-you-type) 。

不仅用户能在更短的时间内得到搜索结果,我们也能引导用户搜索索引中真实存在的结果。

例如,如果用户输入 johnnie walker bl ,我们希望在它们完成输入搜索条件前就能得到: Johnnie Walker Black Label 和 Johnnie Walker Blue Label 。

match_phrase_prefix与match_phrase相同,除了它允许文本中最后一个术语的前缀匹配。

GET logstash-productspus/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match_phrase_prefix": {
            "ProductOriginalName": "WJD"
          }
        }
      ]
    }
  }
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,864评论 6 494
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,175评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,401评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,170评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,276评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,364评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,401评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,179评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,604评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,902评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,070评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,751评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,380评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,077评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,312评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,924评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,957评论 2 351

推荐阅读更多精彩内容

  • 搜索机制 搜索的流程图如下: 1,文档写入ES的时候,ES中会存储两份数据。一份是文档的原始数据,即_source...
    吃火龙果吐芝麻阅读 2,328评论 0 2
  • Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist...
    朱小虎XiaohuZhu阅读 13,210评论 0 5
  • * ES集群会在生产环境被长期实践, 一些重要概念, 包括应用和优化调试方法值得记录分享 * 所以, 会有关于ES...
    君剑阅读 2,162评论 0 0
  • Elastic+logstash+head简单介绍 一. 概述 ElasticSearch是一个基于Lucene的...
    柒月失凄阅读 4,256评论 0 4
  • 今生今世永远爱你。就让我永远爱你吧!这的话已经锁在我的记忆里了,那钥匙你就替我保管一辈子吧。 当我第一眼看到你的时...
    爱瓜瓜阅读 166评论 0 0