「从零到 AI 应用工程师」专栏 · 第 15 篇
向量检索快,但「向量近」≠「真能回答这个问题」。
常见尴尬:涂装标准、待机功耗之类的片段,距离碰巧很近,却答不上「过压怎么处置」。
两阶段检索:
① 粗召回:Embedding + 向量库,多捞一点(如 Top5)
② 精排:Cross-Encoder 对「问题+切片」打分,过滤低分,只留 Top3
一、为什么需要第二段
| Bi-Encoder(向量检索) | Cross-Encoder(Rerank) | |
|---|---|---|
| 做法 | 问句、文档分开编码 | 问句和候选拼成一对打分 |
| 速度 | 快,适合全库 | 慢,只适合小候选集 |
| 精度 | 够粗召回 | 通常更准 |
所以:先宽后严——用便宜的向量多召回,用贵一点的模型精排。
二、代码直觉
pairs = [[question, chunk_text] for chunk in candidates]
scores = cross_encoder.predict(pairs) # 越高越相关
# 按分数排序 → 丢掉低于阈值的 → 截断 keep_top_n
配置项直觉:
| 项 | 作用 |
|---|---|
keep_top_n |
最终进 Prompt 的条数(如 3) |
score_threshold |
低于此分视为不相关 |
模型加载失败时:应回退到按向量距离排序 + 原有阈值,而不是整站 500。用 rerank_enabled 字段告诉调用方本次有没有精排。
三、在全链路中的位置
search_top_k(raw_top_n=5)
→ rerank_or_fallback(...)
→ 得到 references(常 ≤3)
→ Prompt → LLM
响应里可带埋点:
"rerank_metrics": {
"raw_recall_count": 5,
"filtered_count": 2,
"keep_count": 3,
"rerank_enabled": true
}
方便你以后调阈值:过滤太多 → 误拒答;过滤太少 → 噪声仍在。
四、常见坑
- 对全库跑 Cross-Encoder → 又慢又贵。
- 阈值抄别人默认值不评估 → 你的语料分布不同。
- Rerank 挂了却静默空结果 → 要有 fallback。
- 只看分数不看业务:故障码精确匹配有时还要规则加权(可选增强)。
五、带走这三条
- 粗召回求全,精排求准。
- Cross-Encoder 吃「问题+切片」对,不吃全库。
- 失败可回退向量排序;用 metrics 指导调参。
下一篇:20 题评估集——不用感觉,用数字证明变好了没有。
这是专栏第 15 篇。两到三天一更,评估见。