AI 求职每日一课 · 2026-10-12
第 2 月 · 会构建 · 第 6 周 · 让 RAG 从能用到好用

AI 求职每日一课 · 2026-10-12

向量检索擅长语义相近的表达,关键词检索擅长精确词项、编号和实体。混合检索先并行召回,再以 Reciprocal Rank Fusion(RRF)融合名次;它是候选排序方案,不是质量保证,必须用固定评测集验证。

课程阶段:第 2 月 · 会构建

本周主题:第 6 周 · 让 RAG 从能用到好用

今日主课:混合检索与 RRF:让关键词和向量召回互补

今日成果:能解释两路召回各自的盲区,用 RRF 融合排名并设计可比较的离线评测

适用岗位:AI 应用工程师 / Agent 工程师 / AI 前端 / AI 后端

预计用时:25 分钟

今日 TL;DR

向量检索擅长语义相近的表达,关键词检索擅长精确词项、编号和实体。混合检索先并行召回,再以 Reciprocal Rank Fusion(RRF)融合名次;它是候选排序方案,不是质量保证,必须用固定评测集验证。

  • 先为 BM25 与向量召回分别设定候选数,再去重;不要让一条通道吞掉另一条。
  • RRF 只使用排名,不依赖不同检索器量纲不一致的原始分数。
  • 用同一语料、查询、权限过滤和评测集比较单路与混合方案,分桶查看收益与回退。

为什么今天学这个

第 5 周建立了 RAG 基础:Embedding、分块、元数据、权限过滤和证据引用。第 6 周要让检索从“能找到一些相关内容”变得稳定。本周第一天从混合检索入手,后续会继续学习查询改写、RRF细节、重排器、上下文组装与分层评测。周日课程缺课时按课程路线继续,不虚构上一日的完成记录。

检索的困难之一是用户写法和文档写法不一致。用户问“订单 8F31 为什么被拒”,关键词检索可以准确找订单号和错误码;用户问“账号怎么换绑”,向量检索更容易找到“修改登录手机号”这类意思相近的表述。仅用一种检索器,会偏向其中一类。混合检索的目标不是盲目增加召回量,而是让不同检索机制提供互补候选,再用一致规则排序。

BM25 是传统词项检索方法,会综合词项出现频率、文档长度等因素计算相关性。向量检索把文本编码成向量,再按向量距离或相似度寻找语义近邻。两者分数往往不可直接相加:BM25分数和余弦相似度的范围、分布都可能不同。RRF通过名次融合,降低了原始分数尺度不兼容的问题。

一张图讲清楚

用户问题关键词检索 BM25
用户问题向量检索
关键词检索 BM25候选并集与去重
向量检索候选并集与去重
候选并集与去重RRF 名次融合
RRF 名次融合可选重排器
可选重排器权限与上下文预算检查
权限与上下文预算检查生成 + 引用校验

融合之前必须统一候选 ID、权限范围和文档版本。RRF不能修复权限过滤错误,也不能让不存在于索引中的文档被召回。

三个核心要点

  • 混合是互补,不是堆叠。 先看失败查询中关键词与语义检索分别找到了什么,再判断是否值得合并。若两路高度重复,增加系统复杂度可能没有收益。
  • 分数不可比时用排名融合。 RRF将文档在各路中的排名转为倒数贡献;出现在多个检索器前列的文档会获得更高融合分。常见形式为 score(d)=Σ 1/(k+rank_i(d)),k 是平滑常数。
  • 效果要按查询类型评估。 精确编号、自然语言改写、多语言、长尾实体分别报告 Recall@K、MRR 或 nDCG;不能只看总体平均值。

最小可运行示例

需要 Python 3.10+,不依赖第三方库。保存为 rrf_demo.py 后运行 python3 rrf_demo.py。两个检索器给出候选 ID 列表,函数按 RRF 分数排序并输出融合结果。

from collections import defaultdict

def rrf(rankings, k=60):
    scores = defaultdict(float)
    for ranking in rankings:
        for rank, doc_id in enumerate(ranking, start=1):
            scores[doc_id] += 1 / (k + rank)
    return sorted(scores.items(), key=lambda item: item[1], reverse=True)

bm25 = ["order-8F31", "refund-policy", "login-help"]
vector = ["refund-policy", "phone-change", "order-8F31"]
for doc_id, score in rrf([bm25, vector]):
    print(doc_id, round(score, 5))

预期 order-8F31 与 refund-policy 排在前列,因为它们至少在一路排名靠前且都被两路找到。此演示没有文档权限、相关性标签、分页和在线索引;生产实现要在两路召回前施加相同 ACL,并保留各路排名便于诊断。

生产环境会怎么翻车

  1. 把原始分数直接相加。 症状是BM25分数主导排序;根因是不同检索器的分布和尺度不一致。处理:用排名融合起步,或基于留出集做分数校准。
  2. 候选上限设得太小。 症状是某通道的正确文档永远未进入融合;根因是各自 Top-K 在融合前已截断。处理:分别测召回曲线,观察增加候选带来的成本和收益。
  3. 重复片段挤占上下文。 症状是同一段内容有多个 chunk 入选;根因是融合后只按 ID 精确去重。处理:再做文档级或近重复去重,并保留来源位置。
  4. 通道权限过滤不一致。 症状是向量路返回了不该见的片段,即使最终答案没引用;根因是只在末尾过滤。处理:召回查询阶段就施加服务端 ACL,记录被过滤候选的数量而不把文本暴露给模型。
  5. 总指标改善、重要类别恶化。 症状是总体 Recall 上升但编号查询下降;根因是只报告平均值。处理:按查询类别、语种和租户权限分桶,必要时为高精确度查询设置专门路由。

动手练习

准备 10 条问题,至少包括 3 条精确编号问题、3 条同义改写问题和 2 条多语言/简称问题;给每题标注支持文档。分别记录 BM25、向量和 RRF 的 Top 5,并计算 Recall@5、MRR。完成条件:指出至少两条混合后改善的查询和一条回退查询,给出候选列表证据,并说明下一步会先调召回深度、切分还是去重。

面试表达

30 秒回答

我会把 BM25 和向量召回作为互补通道:前者抓精确词项、编号和实体,后者找语义改写。两路先在相同权限范围内并行取候选、按稳定文档 ID 去重,再用 RRF按排名融合,必要时接重排器。是否有效用固定评测集按查询类别比较 Recall@K、MRR、延迟和成本,而不是只看总分。

追问与 3 分钟回答

追问:为什么不直接把 BM25 和向量相似度相加?

因为两类分数通常不在同一尺度:BM25受词频、文档长度和查询词影响,向量相似度则受编码器与归一化方式影响。未经校准直接相加会让某一路因数值范围占主导。RRF只使用排名,适合先建立简单、稳健的基线。实现时要确保每路查询有相同的 ACL 和版本约束,记录每个候选的来源通道、原始名次和融合分。接着在固定查询集上比较 BM25、向量、RRF 三个方案,并按编号、自然语言、多语言和长尾查询分组。若 RRF提升召回却增加噪声,可调每路候选深度、去重和后续重排;若某一路没有独立贡献,则应删掉它以降低延迟和维护成本。最后用线上小流量观察正确率、P95延迟、拒答率与费用,不能只凭离线排名指标上线。

今日自测

1. 基础理解

问题: BM25与向量检索各自更擅长什么?

查看答案BM25偏精确词项、编号与实体;向量检索偏语义相似和表达改写。边界会随语料和模型变化,应以评测为准。

2. 工程取舍

问题: RRF为什么比未经校准的分数相加更适合作为混合检索基线?

查看答案RRF只依赖各路排名,不直接假设BM25分数和向量相似度具有可比量纲。

3. 场景应用

问题: RRF后总体召回变高,但订单编号类问题变差,先检查什么?

查看答案按查询类别查看BM25候选深度、编号分词/字段索引、去重和融合名次;再以同一留出集比较方案,不用总体平均值掩盖回退。

市场雷达

本期不纳入与混合检索无直接关系的热门模型发布。具体岗位要求需以当前招聘页面为准,本次未取得可逐条核验的新增 JD,不推断岗位趋势。

权威来源

明天会用到

明天将学习查询改写:当原始问题过短、含指代或与资料术语不一致时,如何生成多个检索查询,同时保留原问、限制改写偏差并评估额外延迟。