两阶段检索:Rerank 把答案质量再拉一档

「从零到 AI 应用工程师」专栏 · 第 15 篇


向量检索快,但「向量近」≠「真能回答这个问题」。
常见尴尬:涂装标准、待机功耗之类的片段,距离碰巧很近,却答不上「过压怎么处置」。

两阶段检索:

① 粗召回:Embedding + 向量库,多捞一点(如 Top5)
② 精排:Cross-Encoder 对「问题+切片」打分,过滤低分,只留 Top3

一、为什么需要第二段

Bi-Encoder(向量检索) Cross-Encoder(Rerank)
做法 问句、文档分开编码 问句和候选拼成一对打分
速度 快,适合全库 慢,只适合小候选集
精度 够粗召回 通常更准

所以:先宽后严——用便宜的向量多召回,用贵一点的模型精排。


二、代码直觉

pairs = [[question, chunk_text] for chunk in candidates]
scores = cross_encoder.predict(pairs)  # 越高越相关

# 按分数排序 → 丢掉低于阈值的 → 截断 keep_top_n

配置项直觉:

项 作用
keep_top_n 最终进 Prompt 的条数(如 3)
score_threshold 低于此分视为不相关

模型加载失败时:应回退到按向量距离排序 + 原有阈值,而不是整站 500。用 rerank_enabled 字段告诉调用方本次有没有精排。


三、在全链路中的位置

search_top_k(raw_top_n=5)
  → rerank_or_fallback(...)
  → 得到 references(常 ≤3)
  → Prompt → LLM

响应里可带埋点:

"rerank_metrics": {
  "raw_recall_count": 5,
  "filtered_count": 2,
  "keep_count": 3,
  "rerank_enabled": true
}

方便你以后调阈值:过滤太多 → 误拒答;过滤太少 → 噪声仍在。


四、常见坑

  1. 对全库跑 Cross-Encoder → 又慢又贵。
  2. 阈值抄别人默认值不评估 → 你的语料分布不同。
  3. Rerank 挂了却静默空结果 → 要有 fallback。
  4. 只看分数不看业务:故障码精确匹配有时还要规则加权(可选增强)。

五、带走这三条

  1. 粗召回求全,精排求准。
  2. Cross-Encoder 吃「问题+切片」对,不吃全库。
  3. 失败可回退向量排序;用 metrics 指导调参。

下一篇:20 题评估集——不用感觉,用数字证明变好了没有。

这是专栏第 15 篇。两到三天一更,评估见。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容