一 Query-then-Fetch
分布式三个节点node1/node2/node3，分片分别为p1/p2/p3，副本分别为r1/r2/r3，node3接受请求GET text_index/_search，执行流程如下：
----query phase
1-node3在6个主副分片上随机选择3个分片，发送search request请求；
2-被选中的3个分片分别执行查询，返回from+size个文档id和排序值；
3-node3整合3个分片返回的3份from+size个文档id，根据排序值选取from到from+size的文档id；
----fetch phase
4-node3根据query阶段获取的文档id列表到对应的分片上获取文档详细数据；
二 相关性算分
- 相关性算分在shard与shard间相互独立，即同一个term的IDF值在不同的shard上不相同；
- 文档数量不多时，导致相关性算分严重不准确；
- 解决方案一，设置分片数为1，文档数量不多时可以考虑；
- 解决方案二，DFS Query-then-Fetch 拿到所有文档后重新完整计算一次相关性得分，极度耗费资源；
GET test_search_relevance/_search?search_type=dfs_query_then_fetch
三 排序
GET test_search_index/_search
{
"query":{
"match": {
"username": "alfred"
}
},
"sort": [
{
"birth": "desc" ##按照生日降序排序
},
{
"_score": "desc" ##按章相关性算分降序排序
},
{
"_doc": "desc" ##按照文档内部id，与创建顺序有关
}
]
}
- text和keyword
fielddata默认关闭，按照text类型排序报错，使用keyword类型排序；
GET test_search_index/_search
{
"sort": [
{
"username": "asc" ##报错，Fielddata is disabled on text fields by default
}
]
}
GET test_search_index/_search
{
"sort":{
"username.keyword":"desc" ##可以排序
}
}
- fielddata
默认关闭，可以随时打开和关闭，只对text类型有用，一般在对分词做聚合分析时开启；
## fielddata:默认关闭
PUT test_search_index/_mapping/doc
{
"properties": {
"job":{
"type":"text",
"fielddata": true
}
}
}
## 仅对text字段有效
PUT test_search_index/_mapping/doc
{
"properties": {
"username":{
"type":"text",
"fielddata": false
},
"age":{
"type":"long",
"fielddata": true
}
}
}
- doc values
默认启用，创建索引时可以关闭，若再次开启，需要reindex操作；
PUT test_doc_values1/
{
"mappings": {
"doc": {
"properties": {
"username": {
"type": "keyword",
"doc_values": false
}
}
}
}
}
PUT test_doc_values/doc/1
{
"username":"alfred",
"hobby":"basketball"
}
##已经关闭doc values不能开启
GET test_doc_values/_search
{
"sort":"username"
}
##可以启用
GET test_doc_values/_search
{
"sort":"hobby"
}
四 分页
- from/size
在数据分片存储情况下如何获取前1000个文档？
每个分片上获取1000个文档，然后聚合所有分片上的1000个文档最后排序取前1000个文档；
Es通过index.max_result_window限定最多到10000条数据；
GET test_search_index/_search
{
"from":10000, ##Result window is too large, from + size must is less than or equal to [10000] but [10002]
"size":2
}
- scroll
遍历文档集，以快照的方式避免深度分页问题；
不能用来做实时搜素，因为数据不是实时的；
新添加的文档不能被 使用；
GET test_search_index/_search?scroll=5m
{
"size":1
}
POST _search/scroll
{
"scroll" : "5m",
##调用时使用上一次返回时的scroll_id
"scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAABswWX3FLSTZFOF9URFdqWHlvX3gtYmhtdw=="
}
##新添加的文档在scroll中不能使用
PUT test_search_index/doc/10
{
"username":"doc10"
}
- search_after
避免深度分页性能问题，提供实时的下一页文档获取功能；
不能使用from，只能下一页；
##第一步，指定sort值，且为唯一
GET test_search_index/_search
{
"size":1,
"sort":{
"age":"desc",
"_id":"desc"
}
}
##第二步，使用上一次查询的最后一个文档的sort值进行查询
GET test_search_index/_search
{
"size":1,
"search_after":[23,"4"],
"sort":{
"age":"desc",
"_id":"desc"
}
}
