一、相关性–Relevance
- 搜索的相关性算分，描述了⼀个⽂档和查询语句匹配的程度。ES会对每个匹配查询条件的结果进⾏算分_score
- 打分的本质是排序，需要把最符合⽤户需求的⽂档排在前⾯。ES 5之前，默认的相关性算分采⽤TF-IDF，现在采⽤BM25
二、参与算分重要指标
2.1 词频 TF
Term Frequency：检索词在 ⼀篇 ⽂档中出现的频率
- 词频 = 检索词出现的次数 / 文档总字数
度量⼀条查询和结果⽂档相关性的简单⽅法：简单将搜索中每⼀个词的TF进⾏相加
- 例如： TF(区块链)+TF(的)+TF(应⽤)
Stop word
- “的”在⽂档中出现了很多次，但是对贡献相关度⼏乎没有⽤处，不应该考虑他们的TF
2.2 逆文档频率IDF
DF：检索词在 所有 文档中出现的频率
- “区块链”在相对⽐较少的⽂档中出现
- “应⽤”在相对⽐较多的⽂档中出现
- “StopWord”在⼤量的⽂档中出现
Inverse Document Frequency：简单说=log(全部⽂档数/检索词出现过的⽂档总数）
TF-IDF本质上就是将TF求和变成了加权求和
- TF(区块链)IDF(区块链) + TF(的)IDF(的)+ TF(应⽤)*IDF(应⽤)
image.png
2.3 TF-IDF 的概念（ES5之前的算法）
●TF-IDF被公认为是信息检索领域最重要的发明
●除了在信息检索，在⽂献分类和其他相关领域有着⾮常⼴泛的应⽤
●IDF的概念，最早是剑桥⼤学的“斯巴克.琼斯”提出
●1972年–“关键词特殊性的统计解释和它在⽂献检索中的应⽤”
●但是没有从理论上解释IDF应该是⽤log(全部⽂档数/检索词出现过的⽂档总数），⽽不是其他函数。也没有做进⼀步的研究
●1970，1980年代萨尔顿和罗宾逊，进⾏了进⼀步的证明和研究，并⽤⾹农信息论做了证明
●http://www.staff.city.ac.uk/~sb317/papers/foundations_bm25_review.pdf●现代搜索引擎，对TF-IDF进⾏了⼤量细微的优化
Lucene中的TF-IDF评分公式
image.png
2.4 TF-IDF 的概念（从ES5开始的算法）
从ES 5开始，默认算法改为BM25
和经典的TF-IDF相比，当TF无限增加时，BM 25算分会趋于一个数值
image.png
定制Similarity(对相似度算分策略的定制)
image.png
K默认值是1.2，数值越⼩，饱和度越⾼，b默认值是0.75（取值范围0-1），0代表禁⽌Normalization
image.png
三、通过ExplainAPI查看TF-IDF
PUT testscore
{
"settings": {
"number_of_shards": 1
},
"mappings": {
"properties": {
"content": {
"type": "text"
}
}
}
}
PUT testscore/_bulk
{ "index": { "_id": 1 }}
{ "content":"we use Elasticsearch to power the search" }
{ "index": { "_id": 2 }}
{ "content":"we like elasticsearch" }
{ "index": { "_id": 3 }}
{ "content":"The scoring of documents is caculated by the scoring formula" }
{ "index": { "_id": 4 }}
{ "content":"you know, for search" }
POST /testscore/_search
{
//"explain": true,
"query": {
"match": {
"content":"you"
//"content": "elasticsearch"
//"content":"the"
//"content": "the elasticsearch"
}
}
}
四、BoostingRelevance加权
- Boosting是控制相关度的⼀种⼿段
索引，字段或查询⼦条件 - 参数boost的含义
当boost> 1时，打分的相关度相对性提升
当0< boost < 1时，打分的权重相对性降低
当boost< 0时，贡献负分
复合查询：BoostingQuery
POST testscore/_search
{
"query": {
"boosting" : {
"positive" : {
"term" : {
"content" : "elasticsearch"
}
},
"negative" : {
"term" : {
"content" : "like"
}
},
"negative_boost" : 0.2
}
}
}
POST tmdb/_search
{
"_source": ["title","overview"],
"query": {
"more_like_this": {
"fields": [
"title^10","overview"
],
"like": [{"_id":"14191"}],
"min_term_freq": 1,
"max_query_terms": 12
}
}
}
