查询的分类
Leaf query Cluase 叶子查询(简单查询)
这种查询可以单独使用,针对指定的字段查询指定的值。
Compound query clauses 复杂查询
复杂查询可以包含叶子或者其它的复杂查询语句,用于组合成复杂的查询语句,比如not, bool等。
查询虽然包含这两种,但是查询的行为还与查询的执行环境有关,不同的执行环境,查询操作也不一样。查询的行为取决于他们所在的查询上下文,包括Query查询上下文和Filter查询上下文。
查询与过滤
Query查询上下文
在Query查询上下文中,查询会回答这个问题:这个文档匹不匹配查询条件?它的相关性高么?
除了决定文档是够匹配,针对匹配的文档,查询语句还会计算一个相关性分值,分数越高,匹配度越高,默认返回是越靠前。
Filter查询上下文
在Filter过滤器上下文中,查询会回答这个问题:这个文档是否匹配?
这个结果要么“不是”要么“是”,不会计算分值问题,也不会关心返回的排序问题,这样性能方面就比Query查询高了。Filter过滤器主要用于过滤结构化数据,例如:时间戳范围是否在2015-2016之间?status字段是否被设置成“published"?另外,常用的过滤器会自动缓存Elasticsearch,加速性能。
原则上来说,使用查询语句做全文本搜索或其他需要进行相关性评分的时候,剩下的全部用过滤语句。
语法
1. 增删改查关键字
PUT 新建
- 新建索引
PUT /$index
- 新建文档
PUT /$index/$type/$document_id
(修改文档和新建文档的方式是一样的,id相同的情况下,数据会被覆盖)
DELETE 删除
- 删除索引配置
DELETE /$index
- 删除文档
DELETE /$index/$type/$document_id
GET/POST 查询
- 查询索引配置
GET /$index/_settings
|POST /$index/_settings
- 查询文档
GET /$index/$type/_search
|POST /$index/$type/_search
(无type可不加type)
2. 全文检索
2.1 过滤
- term 过滤
term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经切词的文本数据类型)。
{ "term": { "date": "2017-07-01" }}
{ "term": { "title": "内蒙古" }}
我们在外层再加入 query 的上下文关系,就是完整的例子。如下,过滤所有文章标题是内蒙古的。
{
"query": {
"term": {
"title": "内蒙古"
}
}
}
- terms 过滤
terms 跟 term 有点类似,但 terms 允许指定多个匹配条件。 如果某个字段指定了多个值,那么文档需要一起去做匹配。
{
"terms": {"title": [ "内蒙古", "黑龙江" ] }
}
完整的例子,所有文章标题是 内蒙古 或 黑龙江 的:
{
"query": {
"terms": {
"title": [
"内蒙古",
"黑龙江"
]
}
}
}
- range 过滤
range过滤允许我们按照指定范围查找一批数据。范围操作符包含:【gt :: 大于 】 【 gte:: 大于等于 】【 lt :: 小于 】【lte:: 小于等于】
一个完整的例子, 查询发表时间在2017-06-25和2017-07-01之间的数据。
{
"query": {
"range": {
"pubTime": {
"gt": "2017-06-25",
"lt": "2017-07-01"
}
}
}
}
- exists 和 missing 过滤
exists 和 missing 过滤可以用于查找文档中是否包含指定字段或没有某个字段,类似于SQL语句中的IS_NULL条件。
这两个过滤只是针对已经查出一批数据来,但是想区分出某个字段是否存在的时候使用。
{
"exists": {
"field": "title"
}
}
- bool 过滤
bool 过滤可以用来合并多个过滤条件查询结果的布尔逻辑,它包含一下操作符:
- must :: 多个查询条件的完全匹配,相当于 and。
- must_not :: 多个查询条件的相反匹配,相当于 not。
- should :: 至少有一个查询条件匹配, 相当于 or。
这些参数可以分别继承一个过滤条件或者一个过滤条件的数组:
{
"bool": {
"must": { "term": { "folder": "inbox" }},
"must_not": { "term": { "tag": "spam" }},
"should": [
{ "term": { "starred": true }},
{ "term": { "unread": true }}
]
}
}
- filter 过滤器
官方例子如下:
GET /_search
{
"query": {
"bool": {
"must": [
{ "match": { "title": "Search" }},
{ "match": { "content": "Elasticsearch" }}
],
"filter": [
{ "term": { "status": "published" }},
{ "range": { "publish_date": { "gte": "2015-01-01" }}}
]
}
}
}
- filter 参数则表示这个子查询处于 filter context 中
- filter 语句中的 term 和 range 语句用在 filter context 中,它们只起到过滤的作用,并不会计算文档的得分。
如果你想同时使用 query 和 filter 查询的话,需要使用 {query:{filtered:{}}}
来包含这两个查询语法。好处是,借助于filter的速度可以快速过滤出文档,然后再由query根据条件来匹配。
# SELECT document FROM products where price = 20
# filtered 查询价格是20的商品
GET /store/products/_search
{
"query": {
"filtered": {
"query": {
"match_all": {}
},
"filter": {
"term": {
"price": 200
}
}
}
}
}
# 也可以指定多个值
GET /store/products/_search
{
"query": {
"filtered": {
"filter": {
"terms": {
"price": [10, 20]
}
}
}
}
}
# SELECT product FROM products WHERE productID = "SD4535233"
# 由于默认分析器进行分析,会将大写转小写
GET /store/products/_search
{
"query": {
"filtered": {
"filter": {
"term": {
"productID": "sd4535233"
}
}
}
}
}
2.2 查询
- match_all 查询
可以查询到所有文档,是没有查询条件下的默认语句。
{
"match_all": {}
}
- match 查询
match查询是一个标准查询,不管你需要全文本查询还是精确查询基本上都要用到它。
如果你使用 match 查询一个全文本字段,它会在真正查询之前用分析器先分析match一下查询字符:
{
"query": {
"match": {
"content": "韩国 上海 北京"
}
}
}
match查询只能就指定某个确切字段某个确切的值进行搜索,而你要做的就是为它指定正确的字段名以避免语法错误。
{ "match": { "age": 12}}
{ "match": { "pubTime": "2017-07-01" }}
{ "match": { "title": "韩国" }}
- multi_match 查询
multi_match查询允许你做match查询的基础上同时搜索多个字段,在多个字段中同时查一个。
查询文章标题和内容包含乌鲁木齐的数据:
{
"query": {
"multi_match": {
"query": "乌鲁木齐",
"fields": [
"title",
"content"
]
}
}
}
- bool 查询
bool 查询与 bool 过滤相似,用于合并多个查询子句。不同的是,bool 过滤可以直接给出是否匹配成功, 而bool 查询要计算每一个查询子句的 _score (相关性分值)。
- must:: 查询指定文档一定要被包含。
- must_not:: 查询指定文档一定不要被包含。
- should:: 查询指定文档,有则可以为文档相关性加分。
以下查询将会找到 title 字段中包含 "how to make millions",并且 "tag" 字段没有被标为 spam。 如果有标识为 "starred" 或者发布日期为2014年之前。
{
"bool": {
"must": { "match": { "title": "how to make millions" }},
"must_not": { "match": { "tag": "spam" }},
"should": [
{ "match": { "tag": "starred" }},
{ "range": { "date": { "gte": "2014-01-01" }}}
]
}
}
提示: 如果bool 查询下没有must子句,那至少应该有一个should子句。但是 如果有must子句,那么没有should子句也可以进行查询。
- wildcards 查询
使用标准的shell通配符查询。
以下查询能够匹配包含W1F 7HW和W2F 8HW的文档:
{
"query": {
"wildcard": {
"postcode": "W?F*HW"
}
}
}
又比如下面查询 hostname 匹配下面shell通配符的:
{
"query": {
"wildcard": {
"title": "乌鲁*"
}
}
}
- regexp 查询
假设您只想匹配以W开头,紧跟着数字的邮政编码。使用regexp查询能够让你写下更复杂的模式:
{
"query": {
"regexp": {
"postcode": "W[0-9].+"
}
}
}
这个正则表达式的规定了词条需要以W开头,紧跟着一个0到9的数字,然后是一个或者多个其它字符。
下面例子是所有以 wxopen 开头的正则:
{
"query": {
"regexp": {
"hostname": "wxopen.*"
}
}
}
- prefix 查询
以什么字符开头的,可以更简单地用 prefix,如下面的例子:
{
"query": {
"prefix": {
"title": "美味的"
}
}
}
- 短语匹配(Phrase Matching)
当你需要寻找邻近的几个单词时,你会使用match_phrase查询:
{
"query": {
"match_phrase": {
"content": "端午 旅游 云南"
}
}
}
和match查询类似,match_phrase查询首先解析查询字符串来产生一个词条列表。然后会搜索所有的词条,但只保留含有了所有搜索词条的文档,并且词条的位置要邻接。
match_phrase查询也可以写成类型为phrase的match查询:
{
"query": {
"match": {
"content": {
"query": "端午 旅游 云南",
"type": "phrase"
}
}
}
}
2.3 处理返回内容
- _source (source filter)
通过在_source中指定 includes 和 excludes,控制查询结果中哪些source字段要返回、哪些source字段不需要返回。 "_source": false (不指定source字段)、"_source": ["wheather"] (指定返回源字段wheather)。
{
"_source": {
"includes": [ "obj1.*", "obj2.*" ],
"excludes": [ "*.description" ]
},
"query" : {
"term" : { "user" : "kimchy" }
}
}
- sort 排序
可以指定按一个或多个字段排序。也可通过_score指定按评分值排序,_doc 按索引顺序排序。默认是按相关性评分从高到低排序。
//order 值:asc、desc。如果不给定,默认是asc,_score默认是desc
{
"query": {
"match_all": {}
},
"sort": [
{
"age": {
"order": "desc"
} },
{
"balance": {
"order": "asc"
} },
"_score"
]
}
- docvalue_fields
允许返回每个表示命中字段的文档值。
{
"query" : {
"match_all": {}
},
"docvalue_fields" : ["test1", "test2"]
}
请注意,如果fields参数指定了没有docvalues的字段,它将尝试从fielddata缓存加载值,导致该字段的项被加载到内存(缓存),这将导致更多的内存消耗。
- explain 返回文档的评分解释
{
"explain": true,
"query" : {
"term" : { "user" : "kimchy" }
}
}
- min_score 限制最低评分得分
{
"min_score": 0.5,
"query" : {
"term" : { "user" : "kimchy" }
}
}
- post_filter 后置过滤
在查询命中文档、完成聚合后,再对命中的文档进行过滤。
如:要在一次查询中查询品牌为gucci且颜色为红色的shirts,同时还要得到gucci品牌各颜色的shirts的分面统计。
{
"query": {
"bool": {
"filter": {
"term": { "brand": "gucci" }
}
}
},
"aggs": {
"colors": {
"terms": { "field": "color" }
}
},
"post_filter": {
"term": { "color": "red" }
}
}