Lucece评分公式TF/IDF 原理解析(上)

背景：
最近想起搜索评分这块，之前对Lucene评分公式调整很多，有一些经验，所以想把了解的公式和大家分享一下，Lucene6.0之前默认的排序使用的TF/IDF评分公式，6.0之后使用BM25，整体思路和TF/IDF相似，把文档长度和idf做了优化，既然还是在原公式的基础上做的BM25那么我们还是先了解一下TF/IDF公式，下节在详细说说BM25。

1、Lucene公式
Lucene搜索评分由布尔模型和向量空间模型组合而成，布尔模型作用是否命中，向量空间模型用于打分，下面我们简单了解下打分公式的组成和打分原理。

在这里插入图片描述

拆解公式

在这里插入图片描述

score(q,d)：是查询的关键词Query在每个相关Doc的得分。
queryNorm(q)：查询归一化，idf(t)是指当前Query中的idf值，这个queryNorm实际的意义是在做平滑，在向量空间中Query也是一个文档，所以需要把这部分也加到计算中，不过对结果评分几乎没有什么影响。

在这里插入图片描述
coord(q,d)：奖赏Query查询词在Doc中出现的次数，查询词在Doc中出现越多，些模块得分越高，
假设我们有一个查询quick brown fox，每个词的权重为1.5。
coord不生效，分数将只是文档权重的总和。例如：
文档fox→得分：1.5
文档quick fox→得分：3.0
文档quick brown fox→得分：4.5
coord生效如下：
文档fox→得分：1.5 * 1 / 3= 0.5
文档quick fox→得分：3.0 * 2 / 3= 2.0
文档quick brown fox→得分：4.5 * 3 / 3= 4.5
coord的修改对应Similarity中的coord方法

在这里插入图片描述
每个查询Term计算得分的求和。
tf(t in d)，查询Term在文档中出现的频率，即t在文档d中出现的次数的平方根。
idf(t)，查询Term的文档频率，可以理解为当前Term在多少个文档中出现过，公式 idf(t) = 1 + log ( numDocs / (docFreq + 1)) 。numDocs总文档数量，docFreq为Term命中的文档数量，BM25在这块做了优化后面再详细聊聊这块。
t.getBoost()，每个Term在参与查询时可以设置权重，为每个Term加权命中Term得分越高。
norm(t,d)，由三部分组成，
d.getBoost()，为每个Doc设置权重，意义在于区别权重高的Doc。
f.getBoost()，为Doc中的每个Field字段设置权重，命中后会为得分贡献权重。
lengthNorm，命中Doc中Term数的平方根的倒数，意思就是Term越少、文档长度越短的Doc得分会越高，BM25中对这块也进行了优化，引入了长度平均值，回头细聊。

在这里插入图片描述

在这里插入图片描述

2、公式推导，大家可以简单了解一下

在这里插入图片描述

查询向量为Vq = <w(t1, q), w(t2, q), ……, w(tn, q)>
文档向量为Vd = <w(t1, d), w(t2, d), ……, w(tn, d)>
w代表weight，计算公式一般为tf*idf

在这里插入图片描述

下面要推导查询语句的长度

在这里插入图片描述

下面要推导文档长度

在这里插入图片描述

3、Similarity
Lucene的评分公式我们是可以做微调的，比如不想让短标题的文档得分高，可以修改Similarity.length方法，比如防止作弊提高Term在文档中出现的频率，可以修改tf方法，比如分布式的idf不平衡等等问题都可以修改Similartity这个类中的相应方法，大家可以修改后通过得分分析参数进行调整和学习。

 package com.kernaling;       
 import org.apache.lucene.index.FieldInvertState;  

 public class BaicaiPositionSimilarity extends Similarity {  

       /** Implemented as 
        *  <code>state.getBoost()*lengthNorm(numTerms)</code>, where 
        *  <code>numTerms</code> is {@link FieldInvertState#getLength()} if {@link 
        *  #setDiscountOverlaps} is false, else it's {@link 
        *  FieldInvertState#getLength()} - {@link 
        *  FieldInvertState#getNumOverlap()}. 
        * 
        *  <p><b>WARNING</b>: This API is new and experimental, and may suddenly 
        *  change.</p> */  
       @Override  
       public float computeNorm(String field, FieldInvertState state) {  
         final int numTerms;  
         if (discountOverlaps)  
           numTerms = state.getLength() - state.getNumOverlap();  
         else  
           numTerms = state.getLength();  
         return (state.getBoost() * lengthNorm(field, numTerms));  
       }  

       /** Implemented as <code>1/sqrt(numTerms)</code>. */  
       @Override  
       public float lengthNorm(String fieldName, int numTerms) {  
 //        System.out.println("fieldName:" + fieldName + "\tnumTerms:" + numTerms);  
 //      return (float)(1.0 / Math.sqrt(numTerms));  
           return 1.0f;  
       }  

       /** Implemented as <code>1/sqrt(sumOfSquaredWeights)</code>. */  
       @Override  
       public float queryNorm(float sumOfSquaredWeights) {  
 //      return (float)(1.0 / Math.sqrt(sumOfSquaredWeights));\  
         return 1.0f;  
       }  

       /** Implemented as <code>sqrt(freq)</code>. */  
 //        term freq 表示 term 在一个document的出现次数,这里设置为1.0f表示不考滤这个因素影响  
 //    @Override  
 //    public float tf(float freq) {  
         return 1.0f;  

       }  

       /** Implemented as <code>1 / (distance + 1)</code>. */  
          //这里表示匹配的 term　与 term之间的距离因素,同样也不应该受影响  
       @Override  
       public float sloppyFreq(int distance) {  
         return 1.0f;  
       }  

       /** Implemented as <code>log(numDocs/(docFreq+1)) + 1 */  
           //这里表示匹配的docuemnt在全部document的影响因素,同理也不考滤  
       @Override  
       public float idf(int docFreq, int numDocs) {  
         return 1.0f;  
       }  

       /** Implemented as <code>overlap / maxOverlap</code>. */  
           //这里表示每一个Document中所有匹配的关键字与当前关键字的匹配比例因素影响,同理也不考滤.  
       @Override  
       public float coord(int overlap, int maxOverlap) {  
         return 1.0f;  
       }  

       // Default false  
       protected boolean discountOverlaps;  

       /** Determines whether overlap tokens (Tokens with 
        *  0 position increment) are ignored when computing 
        *  norm.  By default this is false, meaning overlap 
        *  tokens are counted just like non-overlap tokens. 
        * 
        *  <p><b>WARNING</b>: This API is new and experimental, and may suddenly 
        *  change.</p> 
        * 
        *  @see #computeNorm 
 */  
       public void setDiscountOverlaps(boolean v) {  
         discountOverlaps = v;  
       }  

       /**@see #setDiscountOverlaps */  
       public boolean getDiscountOverlaps() {  
         return discountOverlaps;  
       }  
 }

如果喜欢搜索技术请来我的公众号吧 'Lucene Elasticsearch 工作积累'
每天会持续更新搜索相关技术

在这里插入图片描述