今日 TL;DR
向量检索擅长语义相近的表达,关键词检索擅长精确词项、编号和实体。混合检索先并行召回,再以 Reciprocal Rank Fusion(RRF)融合名次;它是候选排序方案,不是质量保证,必须用固定评测集验证。
- 先为 BM25 与向量召回分别设定候选数,再去重;不要让一条通道吞掉另一条。
- RRF 只使用排名,不依赖不同检索器量纲不一致的原始分数。
- 用同一语料、查询、权限过滤和评测集比较单路与混合方案,分桶查看收益与回退。
为什么今天学这个
第 5 周建立了 RAG 基础:Embedding、分块、元数据、权限过滤和证据引用。第 6 周要让检索从“能找到一些相关内容”变得稳定。本周第一天从混合检索入手,后续会继续学习查询改写、RRF细节、重排器、上下文组装与分层评测。周日课程缺课时按课程路线继续,不虚构上一日的完成记录。
检索的困难之一是用户写法和文档写法不一致。用户问“订单 8F31 为什么被拒”,关键词检索可以准确找订单号和错误码;用户问“账号怎么换绑”,向量检索更容易找到“修改登录手机号”这类意思相近的表述。仅用一种检索器,会偏向其中一类。混合检索的目标不是盲目增加召回量,而是让不同检索机制提供互补候选,再用一致规则排序。
BM25 是传统词项检索方法,会综合词项出现频率、文档长度等因素计算相关性。向量检索把文本编码成向量,再按向量距离或相似度寻找语义近邻。两者分数往往不可直接相加:BM25分数和余弦相似度的范围、分布都可能不同。RRF通过名次融合,降低了原始分数尺度不兼容的问题。
一张图讲清楚
融合之前必须统一候选 ID、权限范围和文档版本。RRF不能修复权限过滤错误,也不能让不存在于索引中的文档被召回。
三个核心要点
- 混合是互补,不是堆叠。 先看失败查询中关键词与语义检索分别找到了什么,再判断是否值得合并。若两路高度重复,增加系统复杂度可能没有收益。
- 分数不可比时用排名融合。 RRF将文档在各路中的排名转为倒数贡献;出现在多个检索器前列的文档会获得更高融合分。常见形式为
score(d)=Σ 1/(k+rank_i(d)),k是平滑常数。 - 效果要按查询类型评估。 精确编号、自然语言改写、多语言、长尾实体分别报告 Recall@K、MRR 或 nDCG;不能只看总体平均值。
最小可运行示例
需要 Python 3.10+,不依赖第三方库。保存为 rrf_demo.py 后运行 python3 rrf_demo.py。两个检索器给出候选 ID 列表,函数按 RRF 分数排序并输出融合结果。
from collections import defaultdict
def rrf(rankings, k=60):
scores = defaultdict(float)
for ranking in rankings:
for rank, doc_id in enumerate(ranking, start=1):
scores[doc_id] += 1 / (k + rank)
return sorted(scores.items(), key=lambda item: item[1], reverse=True)
bm25 = ["order-8F31", "refund-policy", "login-help"]
vector = ["refund-policy", "phone-change", "order-8F31"]
for doc_id, score in rrf([bm25, vector]):
print(doc_id, round(score, 5))
预期 order-8F31 与 refund-policy 排在前列,因为它们至少在一路排名靠前且都被两路找到。此演示没有文档权限、相关性标签、分页和在线索引;生产实现要在两路召回前施加相同 ACL,并保留各路排名便于诊断。
生产环境会怎么翻车
- 把原始分数直接相加。 症状是BM25分数主导排序;根因是不同检索器的分布和尺度不一致。处理:用排名融合起步,或基于留出集做分数校准。
- 候选上限设得太小。 症状是某通道的正确文档永远未进入融合;根因是各自 Top-K 在融合前已截断。处理:分别测召回曲线,观察增加候选带来的成本和收益。
- 重复片段挤占上下文。 症状是同一段内容有多个 chunk 入选;根因是融合后只按 ID 精确去重。处理:再做文档级或近重复去重,并保留来源位置。
- 通道权限过滤不一致。 症状是向量路返回了不该见的片段,即使最终答案没引用;根因是只在末尾过滤。处理:召回查询阶段就施加服务端 ACL,记录被过滤候选的数量而不把文本暴露给模型。
- 总指标改善、重要类别恶化。 症状是总体 Recall 上升但编号查询下降;根因是只报告平均值。处理:按查询类别、语种和租户权限分桶,必要时为高精确度查询设置专门路由。
动手练习
准备 10 条问题,至少包括 3 条精确编号问题、3 条同义改写问题和 2 条多语言/简称问题;给每题标注支持文档。分别记录 BM25、向量和 RRF 的 Top 5,并计算 Recall@5、MRR。完成条件:指出至少两条混合后改善的查询和一条回退查询,给出候选列表证据,并说明下一步会先调召回深度、切分还是去重。
面试表达
30 秒回答
我会把 BM25 和向量召回作为互补通道:前者抓精确词项、编号和实体,后者找语义改写。两路先在相同权限范围内并行取候选、按稳定文档 ID 去重,再用 RRF按排名融合,必要时接重排器。是否有效用固定评测集按查询类别比较 Recall@K、MRR、延迟和成本,而不是只看总分。
追问与 3 分钟回答
追问:为什么不直接把 BM25 和向量相似度相加?
因为两类分数通常不在同一尺度:BM25受词频、文档长度和查询词影响,向量相似度则受编码器与归一化方式影响。未经校准直接相加会让某一路因数值范围占主导。RRF只使用排名,适合先建立简单、稳健的基线。实现时要确保每路查询有相同的 ACL 和版本约束,记录每个候选的来源通道、原始名次和融合分。接着在固定查询集上比较 BM25、向量、RRF 三个方案,并按编号、自然语言、多语言和长尾查询分组。若 RRF提升召回却增加噪声,可调每路候选深度、去重和后续重排;若某一路没有独立贡献,则应删掉它以降低延迟和维护成本。最后用线上小流量观察正确率、P95延迟、拒答率与费用,不能只凭离线排名指标上线。
今日自测
1. 基础理解
问题: BM25与向量检索各自更擅长什么?
查看答案
BM25偏精确词项、编号与实体;向量检索偏语义相似和表达改写。边界会随语料和模型变化,应以评测为准。
2. 工程取舍
问题: RRF为什么比未经校准的分数相加更适合作为混合检索基线?
查看答案
RRF只依赖各路排名,不直接假设BM25分数和向量相似度具有可比量纲。
3. 场景应用
问题: RRF后总体召回变高,但订单编号类问题变差,先检查什么?
查看答案
按查询类别查看BM25候选深度、编号分词/字段索引、去重和融合名次;再以同一留出集比较方案,不用总体平均值掩盖回退。
市场雷达
本期不纳入与混合检索无直接关系的热门模型发布。具体岗位要求需以当前招聘页面为准,本次未取得可逐条核验的新增 JD,不推断岗位趋势。
权威来源
- Stanford IR Book:BM25 与概率检索 — 词项检索与概率排序背景。
- Cormack、Clarke、Buettcher:Reciprocal Rank Fusion — RRF原始方法论文。
- OpenAI Cookbook:RAG评估 — 检索与生成评估实践。
明天会用到
明天将学习查询改写:当原始问题过短、含指代或与资料术语不一致时,如何生成多个检索查询,同时保留原问、限制改写偏差并评估额外延迟。