AI 求职每日一课 · 2026-10-14
第 2 月 · 会构建 · 第 6 周 · 让 RAG 从能用到好用

AI 求职每日一课 · 2026-10-14

重排器在召回之后,对有限候选逐一估计“问题—文档”的相关性,再把更有用的证据排前。它能改善候选顺序,不能找回从未召回的答案;质量收益必须与额外延迟、成本和权限边界一起测量。

课程阶段:第 2 月 · 会构建

本周主题:第 6 周 · 让 RAG 从能用到好用

今日主课:Reranker:用相关性重排候选证据

今日成果:实现可运行的交叉编码器重排基线,并用 Recall@K、MRR、NDCG 与延迟评估

适用岗位:AI 应用工程师 / Agent 工程师 / AI 后端

预计用时:25 分钟

今日 TL;DR

重排器在召回之后,对有限候选逐一估计“问题—文档”的相关性,再把更有用的证据排前。它能改善候选顺序,不能找回从未召回的答案;质量收益必须与额外延迟、成本和权限边界一起测量。

为什么今天学这个

昨天的查询改写与 RRF 扩大检索路径,并将多路排名合并。RRF 只看各路名次,不理解问题和文档内容之间的细粒度关系,因此宽泛但常见的段落可能排在精确证据前。Reranker 接收原问题与候选文本,直接估计二者相关性,重新排序后只把前 K 项交给生成模型。

常见的 Cross-Encoder(交叉编码器)把问题和文档拼成一对输入 Transformer,能同时关注两者的词语交互;代价是每个候选都要单独计算。Bi-Encoder(双编码器)先独立编码问题和文档,以向量相似度快速召回,适合大规模候选搜索。工程上通常先用 BM25/向量/混合检索召回几十至数百项,再用较小的 Reranker 精排少量候选。分数是排序信号,不是答案正确概率。

今天继续第 6 周周三的 Reranker。昨天的 RRF 负责合并来源,今天的重排器负责比较候选内容;明天会把检索、重排与引用检查连成可观测评测链路。

一张图讲清楚

原始问题混合检索 Top 100
服务端 ACL混合检索 Top 100
混合检索 Top 100去重并保留来源
去重并保留来源问题与文档逐对打分
问题与文档逐对打分排序并截取 Top 5
排序并截取 Top 5生成答案与引用

三个核心要点

  • 候选召回设定上限。 相关段落不在候选中,重排器就无从排序;先查 Recall@100,再解释 MRR/NDCG 的变化。
  • 模型分数用于相对排序。 不同模型、批次和语料的分数尺度可能不同;阈值需要校准,不能把 0.8 直接称为 80% 正确率。
  • 延迟与权限属于检索链路。 控制候选数、批大小、超时和回退;所有候选必须先经过同一主体的 ACL,重排不得扩大可见范围。

最小可运行示例

Python 3.10+,安装 sentence-transformers 与 PyTorch 后运行。该模型为公开示例模型,首次运行需要下载权重;线上部署应评估模型许可证、语言覆盖和数据处理边界。

from sentence_transformers import CrossEncoder

query = "退款申请必须在签收后几天内提交?"
documents = [
    "退货申请应在签收之日起七个自然日内提出。",
    "订单付款后可在发货前取消,退款原路退回。",
    "签收后超过七日的商品不适用普通退货流程。",
]
model = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = model.predict([(query, doc) for doc in documents], batch_size=8)
for index in sorted(range(len(documents)), key=lambda i: float(scores[i]), reverse=True):
    print(f"{float(scores[index]):.4f}\t{documents[index]}")

示例模型主要针对英文 MS MARCO 训练,中文排序仅用于演示调用接口,不能据此宣称中文效果。生产应用应选择经中文和领域数据评估的模型,准备标注集,报告 Recall@K、MRR/NDCG、P95 延迟和失败回退率。

生产环境会怎么翻车

  1. 召回漏掉关键条款。 症状是正确段落始终不进最终上下文;原因是上游召回覆盖不足。处理:按问题类型检查 Recall@候选深度,改善索引、切块或查询扩展。
  2. 领域词被误排。 症状是通用解释压过精确产品条款;原因是训练语料与领域语言不一致。处理:建立代表性人工标注集、领域微调或选择适配模型,并按版本回归。
  3. 尾延迟超过预算。 症状是长查询偶尔明显变慢;原因是候选数过多、批处理低效或模型服务拥塞。处理:限制候选深度、批推理、设超时并记录回退;退回原检索排序要显式监控。
  4. 无关高分被当成置信度。 症状是分数高但答案不受证据支持;原因是排序分数被误解为概率。处理:单独校准拒答阈值,并要求生成答案逐句引用可见证据。
  5. 权限过滤放在重排之后。 症状是越权片段进入模型上下文或日志;原因是先排序后筛 ACL。处理:候选进入重排前执行服务端权限过滤,并对缓存键包含主体与权限版本。

动手练习

用 20 分钟构造 12 个问题,每题包含 5 段候选和人工相关性等级 0–3。先按 BM25 顺序,再用任一可用 Cross-Encoder 精排;记录每题 Recall@5、MRR、NDCG@5、P50/P95 推理时间。完成条件:展示至少一个精排改善案例和一个失败案例,说明高分不是概率,并确认未授权候选在重排前已过滤。

面试表达

30 秒回答

我把 Reranker 放在召回之后,对有限候选按问题与文本的细粒度相关性重排。召回负责覆盖,重排负责排序,两者要分别评估。我会用标注集比较 MRR/NDCG 与 Recall,按领域分桶检查错排,并把候选规模、P95 延迟、超时回退和 ACL 纳入上线门槛。模型分数是排序信号,不是答案正确概率。

追问与 3 分钟回答

为什么不用更大的生成模型直接判断所有文档? 逐候选调用生成模型会增加延迟、费用和输出波动;专用 Cross-Encoder 输入固定、批量推理更可控。对少量复杂候选,可以用生成模型做二阶段解释,但需要独立评估。

我会先固定语料、切块、候选深度和标注标准,测召回基线,再在相同候选上测重排效果。分层查看精确编号、短查询、长查询及领域术语,避免总体 NDCG 上升掩盖关键分桶退化。线上记录模型版本、候选数、耗时、回退和最终引用,不记录不必要的敏感原文。发生超时可回退到原排序,但必须有明确告警。若正确证据缺席,应修召回而不是继续调重排分数。权限先在服务端过滤,不能依赖模型判断访问资格。

今日自测

1. 基础理解

重排器能否找回未进入候选集合的正确文档?不能。它只能重新排列收到的候选,应先检查召回深度与 Recall@K。

2. 工程取舍

Reranker 输出 0.91,是否表示答案有 91% 概率正确?不是。它是模型相关性排序分数,尺度依模型和数据而异;需要校准且不能替代证据验证。

3. 场景应用

候选排序明显改善但 P95 超过服务预算,应该如何处理?限制候选数、批处理或更换轻量模型,设超时与可观测回退,并在质量和延迟共同达标后上线。

市场雷达

Elastic 与 Cohere 官方资料持续提供 Reranker 产品接口说明,但本次没有核实到最近 30 天内与课程主题直接相关、足以作为新增 JD 信号的可靠材料。本期无新增市场信号。

权威来源

明天会用到

明天将检索、RRF、重排和生成后的引用检查放到同一条链路中,观察每一步如何影响质量、成本与用户可见的证据。