search API

实现对es中存储的数据进行查询分析，endpoint为_search，如下所示：

查询主要有两种形式：

• URI Search
  • 操作简便，方便通过命令行测试
  • 仅包含部分查询语法
• Request Body Search

  • es提供的完备查询语法 Query DSL(Domain Specific Language)

    
    

URI Search

• q指定查询的语句
• df q中不指定字段室默认查询的字段，如果不指定，es会查询所有字段
• sort 排序
• timeout 指定超时时间，默认不潮湿

• from,size用于分页

  
  

URI Search - Query String Syntax

• term与phrase
  • alfred way等效于alfred OR way
  • "alfred way"词语查询，要求先后顺序
• 泛查询：
  • alfred 等效于在所有字段去匹配该term
• 指定字段
  • name:alfred
• Group分组设定，使用括号指定匹配的规则
  • （quick OR brown) AND fox
  • status:(active OR pending) title:(full text search)
• 布尔操作符
  • AND(&&)、OR(||)、NOT(!)
    • name:(tom NOT lee)
    • 注意大写，不能小写
  • • • 分别对应must和must_not
      • name:(tom + lee - alfred)
      • name:((lee && !alfred) || (tom && lee && !alfred))
      • • 在url中会被解析为空格，要使用encode后的结果才可以，为%2B
• 范围查询
  • 区间写法，闭区间用[]，开区间用{}
    • age:[1 TO 10] 意为 1<= age <= 10
    • age:[1 TO 10} 意为 1<= age < 10
    • age:[1 TO ] 意为 age >= 1
    • age:[* TO 10] 意为 age <= 10
  • 算数符号写法
    • age:>=1
    • age:(>= 1 && <= 10)或者age:(+>= 1 +<= 10)
• 通配符查询
  • ?代表一个字符，*代表0或者多个字符
    • name:t?m
    • name:tom*
    • name:t*m
  • 通配符匹配执行效率低，且占用较多内存，不建议使用
  • 如无特殊需求，不要将?/*放在最前面
• 正则表达式匹配
  • name:/[mb]oat/
• 模糊匹配 fuzzy query
  • name:roam~1
  • 匹配与roam差1个character的词，比如foam roams等
• 近似度查询 proximity search
  • "fox quick"~5
  • 以term为单位进行差异比较，比如"quick fox" "quick brown fox" 都会被匹配

Request Body Search

将查询语句通过http request body发送到es，主要包含如下参数：

• query符合Query DSL 语法的查询语句
• from,size
• timeout

• sort

  
  

Query DSL

它基于JSON定义的查询语言，主要包含如下两种类型：

• 字段类查询
  如term，match，range等，只针对某一个字段进行查询
• 复合查询
  如bool查询等，包含一个或多个字段类查询或者复合查询语句

字段类查询
字段类查询主要包含以下两类：

• 全文匹配：针对text类型的字段进行全文检索，会对查询语句先进行分词处理，如match，match_phrase等query类型
• 单词匹配：不会对查询语句做分词处理，直接去匹配字段的倒排索引，如term，terms，range等query类型

match Query
对字段做全文检索，最基本和常用的查询类型，API示例如下：

• 可以通过operator参数控制单词间的匹配关系，可选项为or和and

  
  

• 通过minimum_should_match参数可以控制需要匹配的单词数

  
  

相关性算分

• 相关性算分是指文档与查询语句间的相关度，英文为relevance

  • 通过倒排索引可以获取与查询语句相匹配的文档列表，那么如何将最符合用户查询需求的文档放到前列呢？
  • 本质是一个排序问题，排序的依据是相关性算分

• 相关性算分的几个重要概念如下：

  • Term Frequency(TF)词频，即单词在该文档中出现额次数，词频越高，相关度越高
  • Document Frequency(DF)文档频率，即单词出现的文档数
  • Inverse Document Frequency(IDF)逆向文档频率，与文档频率相反，简单理解为1/DF。即单词出现的文档数越少，相关度越高
  • Field-length Norm 文档越短，相关性越高

ES目前主要有两个相关性算分模型，如下：

• TF/IDF 模型

• BM25 模型，5.x之后的默认模型

  
  

match phrase Query
对字段作检索，有顺序要求，API示例如下：

Query String Query

Simple Query String Query

Term Query

Terms Query

Range Query
范围查询主要针对数值和日期类型

• 针对数值做查询如下图所示：

  
  

• 针对日期做查询，如下所示：

  
  

Range Query - Date Math
针对日期提供的一种更友好的计算方式，格式如下：

时间单位主要有以下几种：

• y - years
• M - months
• w - weeks
• d - days
• h - hours
• m - minutes
• s - seconds

Query DSL - 复合查询

符合查询是指包含字段类查询或复合查询的类型，主要包括以下几类：

• constant_score query
• bool query
• dis_max query
• function_score query
• boosting query

constant_score query

Bool Query
布尔查询由一个或多个布尔子句组成，主要包含如下4个：

Bool Query - Filter

Bool Query - Must

Bool Query - Must_Not

Bool Query - Should
Should使用分两种情况：

• bool 查询只包含should，不包含must查询

• bool 查询中同时包含should和must查询

  
  

Count API
获取符合条件的文档数，endpoint为_count

Source Filtering
过滤返回结果中_source中的字段，主要有如下几种方式：

参考：
https://www.jianshu.com/p/7e0c291dc1be