背景：
最近想起搜索评分这块，之前对Lucene评分公式调整很多，有一些经验，所以想把了解的公式和大家分享一下，Lucene6.0之前默认的排序使用的TF/IDF评分公式，6.0之后使用BM25，整体思路和TF/IDF相似，把文档长度和idf做了优化，既然还是在原公式的基础上做的BM25那么我们还是先了解一下TF/IDF公式，下节在详细说说BM25。
1、Lucene公式
Lucene搜索评分由布尔模型和向量空间模型组合而成，布尔模型作用是否命中，向量空间模型用于打分，下面我们简单了解下打分公式的组成和打分原理。
拆解公式
score(q,d)：是查询的关键词Query在每个相关Doc的得分。
-
queryNorm(q)：查询归一化，idf(t)是指当前Query中的idf值，这个queryNorm实际的意义是在做平滑，在向量空间中Query也是一个文档，所以需要把这部分也加到计算中，不过对结果评分几乎没有什么影响。
在这里插入图片描述 -
coord(q,d)：奖赏Query查询词在Doc中出现的次数，查询词在Doc中出现越多，些模块得分越高，
假设我们有一个查询quick brown fox，每个词的权重为1.5。
coord不生效，分数将只是文档权重的总和。例如：
文档fox→得分：1.5
文档quick fox→得分：3.0
文档quick brown fox→得分：4.5
coord生效如下：
文档fox→得分：1.5 * 1 / 3= 0.5
文档quick fox→得分：3.0 * 2 / 3= 2.0
文档quick brown fox→得分：4.5 * 3 / 3= 4.5
coord的修改对应Similarity中的coord方法
在这里插入图片描述 每个查询Term计算得分的求和。
tf(t in d)，查询Term在文档中出现的频率，即t在文档d中出现的次数的平方根。
idf(t)，查询Term的文档频率，可以理解为当前Term在多少个文档中出现过，公式 idf(t) = 1 + log ( numDocs / (docFreq + 1)) 。numDocs总文档数量，docFreq为Term命中的文档数量，BM25在这块做了优化后面再详细聊聊这块。
t.getBoost()，每个Term在参与查询时可以设置权重，为每个Term加权命中Term得分越高。
-
norm(t,d)，由三部分组成，
d.getBoost()，为每个Doc设置权重，意义在于区别权重高的Doc。
f.getBoost()，为Doc中的每个Field字段设置权重，命中后会为得分贡献权重。
lengthNorm，命中Doc中Term数的平方根的倒数，意思就是Term越少、文档长度越短的Doc得分会越高，BM25中对这块也进行了优化，引入了长度平均值，回头细聊。
在这里插入图片描述
2、公式推导，大家可以简单了解一下
查询向量为Vq = <w(t1, q), w(t2, q), ……, w(tn, q)>
文档向量为Vd = <w(t1, d), w(t2, d), ……, w(tn, d)>
w代表weight，计算公式一般为tf*idf
下面要推导查询语句的长度
下面要推导文档长度
3、Similarity
Lucene的评分公式我们是可以做微调的，比如不想让短标题的文档得分高，可以修改Similarity.length方法，比如防止作弊提高Term在文档中出现的频率，可以修改tf方法，比如分布式的idf不平衡等等问题都可以修改Similartity这个类中的相应方法，大家可以修改后通过得分分析参数进行调整和学习。
package com.kernaling;
import org.apache.lucene.index.FieldInvertState;
public class BaicaiPositionSimilarity extends Similarity {
/** Implemented as
* <code>state.getBoost()*lengthNorm(numTerms)</code>, where
* <code>numTerms</code> is {@link FieldInvertState#getLength()} if {@link
* #setDiscountOverlaps} is false, else it's {@link
* FieldInvertState#getLength()} - {@link
* FieldInvertState#getNumOverlap()}.
*
* <p><b>WARNING</b>: This API is new and experimental, and may suddenly
* change.</p> */
@Override
public float computeNorm(String field, FieldInvertState state) {
final int numTerms;
if (discountOverlaps)
numTerms = state.getLength() - state.getNumOverlap();
else
numTerms = state.getLength();
return (state.getBoost() * lengthNorm(field, numTerms));
}
/** Implemented as <code>1/sqrt(numTerms)</code>. */
@Override
public float lengthNorm(String fieldName, int numTerms) {
// System.out.println("fieldName:" + fieldName + "\tnumTerms:" + numTerms);
// return (float)(1.0 / Math.sqrt(numTerms));
return 1.0f;
}
/** Implemented as <code>1/sqrt(sumOfSquaredWeights)</code>. */
@Override
public float queryNorm(float sumOfSquaredWeights) {
// return (float)(1.0 / Math.sqrt(sumOfSquaredWeights));\
return 1.0f;
}
/** Implemented as <code>sqrt(freq)</code>. */
// term freq 表示 term 在一个document的出现次数,这里设置为1.0f表示不考滤这个因素影响
// @Override
// public float tf(float freq) {
return 1.0f;
}
/** Implemented as <code>1 / (distance + 1)</code>. */
//这里表示匹配的 term 与 term之间的距离因素,同样也不应该受影响
@Override
public float sloppyFreq(int distance) {
return 1.0f;
}
/** Implemented as <code>log(numDocs/(docFreq+1)) + 1 */
//这里表示匹配的docuemnt在全部document的影响因素,同理也不考滤
@Override
public float idf(int docFreq, int numDocs) {
return 1.0f;
}
/** Implemented as <code>overlap / maxOverlap</code>. */
//这里表示每一个Document中所有匹配的关键字与当前关键字的匹配比例因素影响,同理也不考滤.
@Override
public float coord(int overlap, int maxOverlap) {
return 1.0f;
}
// Default false
protected boolean discountOverlaps;
/** Determines whether overlap tokens (Tokens with
* 0 position increment) are ignored when computing
* norm. By default this is false, meaning overlap
* tokens are counted just like non-overlap tokens.
*
* <p><b>WARNING</b>: This API is new and experimental, and may suddenly
* change.</p>
*
* @see #computeNorm
*/
public void setDiscountOverlaps(boolean v) {
discountOverlaps = v;
}
/**@see #setDiscountOverlaps */
public boolean getDiscountOverlaps() {
return discountOverlaps;
}
}
如果喜欢搜索技术请来我的公众号吧 'Lucene Elasticsearch 工作积累'
每天会持续更新搜索相关技术
