今日 TL;DR
今天把本周的混合检索、查询改写、RRF、重排和上下文组装收束到同一个诊断框架:先确认正确证据有没有进入候选,再检查它是否排到上下文前列,最后判断模型是否忠实使用证据。
- 检索命中率低,优先查 query 和召回;证据在候选中却没进上下文,优先查排序与预算。
- Recall@K、MRR、nDCG 衡量检索器的不同性质,不能用一个最终答案正确率代替。
- 复盘要固定问题集、语料快照、索引版本、过滤条件和模型版本,才能比较改动。
为什么今天学这个
本周从混合检索开始,逐步学习查询改写与 Reciprocal Rank Fusion(RRF,倒数排名融合)、重排器、上下文组装和分层评测。周日不引入新算法,而是练习把结果错误定位到具体阶段。前一日的项目练习将检索、授权、证据和拒答串在一起;今天继续追问:当答案不对时,团队怎样知道该调召回、排序、上下文还是生成?
RAG(检索增强生成)可以理解成“先找资料,再让模型依据资料回答”。用户看到的是最终答案,但系统实际包含文档解析、分块、索引、权限过滤、召回、重排、上下文拼接和生成。只看最后答案会把不同根因混为一谈。例如,模型没引用某条政策,可能是该政策没被索引,也可能是查询表达不匹配、过滤器误删、排序靠后、上下文截断,或模型拿到证据却没有遵循。
一张图讲清楚
“找到证据”不是一个二元开关。至少要记录正确片段是否进入候选、最终名次、是否经过截断、来源版本,以及答案中的关键主张是否能回指证据。
三个核心要点
- 先定位阶段,再改参数。 正确片段未进入候选,调重排器无效;片段已排在首位却被截断,增加 Top-K 也可能只会增加成本。
- 离线指标对应不同失败。 Recall@K 看相关文档是否被召回;MRR 看第一个相关结果是否靠前;nDCG 考虑多个结果的相关等级与位置。回答质量还需要独立评测。
- 让错误可复现。 固定语料版本、切分规则、Embedding 模型、索引、过滤器、查询改写提示词和生成模型;记录每步输入输出及耗时,才能做有意义的 A/B 对照。
最小可运行示例
以下 Python 3 示例不需要第三方依赖。它通过已标注的相关文档 ID 计算 Recall@K 和 MRR。保存为 rag_metrics.py,运行 python3 rag_metrics.py。它评估的是排名,不等价于语义答案正确性。
from collections.abc import Sequence
def recall_at_k(ranked: Sequence[str], relevant: set[str], k: int) -> float:
if not relevant:
return 0.0
return len(set(ranked[:k]) & relevant) / len(relevant)
def reciprocal_rank(ranked: Sequence[str], relevant: set[str]) -> float:
for position, doc_id in enumerate(ranked, start=1):
if doc_id in relevant:
return 1.0 / position
return 0.0
# q1 的两个片段都与正确答案相关;q2 无相关结果。
cases = [
("q1", ["d7", "d2", "d9"], {"d2", "d9"}),
("q2", ["d3", "d4"], {"d8"}),
]
for query_id, ranked, relevant in cases:
print(query_id, "Recall@3=", round(recall_at_k(ranked, relevant, 3), 2),
"MRR=", round(reciprocal_rank(ranked, relevant), 2))
预期 q1 的 Recall@3 为 1.0、MRR 为 0.5;q2 两项均为 0。真实评测要为同一查询维护多个相关文档与分级相关性标注,对查询级指标取平均,并按权限、语言、问题类型和长尾类别分桶。不要把同一份标注集同时用于反复调参和最终验收。
生产环境会怎么翻车
- 只看最终答案准确率。 症状是每次模型升级都说检索变差;根因是检索与生成错误混在一起。处理:单独计算召回、排序、上下文覆盖和答案忠实度。
- 评测集泄漏到调参过程。 症状是离线分数持续上升、线上投诉不变;根因是反复对同一批查询过拟合。处理:保留开发集、验证集和时间外留出集,记录每次变更。
- 相关文档判断含糊。 症状是标注者对“命中”意见不一;根因是没有定义答案所需证据粒度。处理:标注支持答案的片段与相关等级,保留分歧并由第二位标注者复核。
- 平均值掩盖权限或长尾故障。 症状是总 Recall@5 很好,但某个租户或某种语言经常漏召回;根因是未做分桶和 ACL 负向检查。处理:按租户授权、语言、文档类型和查询难度报告指标,并单测越权候选必须为零。
- 把更高 Top-K 当成通用修复。 症状是上下文变长、成本和延迟上升,答案却未改善;根因是没有确认失败发生在召回还是排序。处理:保存候选列表与最终上下文,对每个失败样本画出阶段轨迹后再调整。
动手练习
用 8 条自拟问题和 12 个文档片段做一个微型评测集。对每个问题标注一个或多个支持片段,记录当前检索结果前三名;计算 Recall@3 与 MRR。人为制造两种故障:删除一个支持片段、将支持片段排到第四位。完成条件:你能从指标变化识别漏召回与排序下降,并写下下一步要查看的日志字段。
面试表达
30 秒回答
我会把 RAG 错误按阶段拆开:相关证据是否进入召回候选、重排后是否进入上下文、上下文是否完整,以及最终答案是否被证据支持。离线检索用 Recall@K、MRR 或 nDCG,回答质量另测忠实度和拒答;每次比较固定语料、索引、过滤器和模型版本,并按权限与问题类别分桶。
追问与 3 分钟回答
追问:如果 Recall@10 提高但用户答对率下降,怎么查?
先确认评测切分、相关性标注和查询集合未变化。再抽取变更前后的相同查询,比较候选集合、相关片段名次、最终上下文及 token 截断位置。更多候选可能把噪声带入上下文,或者由于预算固定挤掉了关键证据;重排器也可能在新域上失准。随后分别测试更合适的融合权重、去重与分块策略、重排阈值和上下文预算,一次只改一类因素。离线改善后进行影子流量或小比例 A/B,观察正确率、拒答率、P95 延迟和单位问题成本,并检查 ACL 负向样本。若证据本身不支持答案,应该改进语料或产品反馈路径,而不是继续增加 K 值。
今日自测
1. 基础理解
问题: Recall@K 和 MRR 分别回答什么问题?
查看答案
Recall@K 看相关证据是否出现在前 K 个结果中;MRR 关注首个相关结果的排名。二者都不直接衡量答案是否忠实于证据。
2. 工程取舍
问题: 正确片段在召回列表里,但没有进入最终上下文,第一步检查什么?
查看答案
对照重排后名次、去重策略和 token 截断日志;确认它是在排序阶段落后,还是被上下文预算裁掉,再选择相应修复。
3. 场景应用
问题: 总体 Recall@5 很高,但某语言的内部政策问题常漏答案,怎样改评测?
查看答案
按语言、文档类型、租户授权和问题类别分桶,补充长尾与权限负向样本;核对该语言的解析、Embedding 和查询改写,而不是只看总体均值。
权威来源
- OpenAI:评估 RAG 系统 — 评测集、指标与迭代实践。
- BEIR 论文 — 异质检索任务与跨域评测背景。
- Stanford IR Book:评估信息检索 — Precision、Recall 与排名评测概念。
- OpenAI Cookbook:RAG 评估 — 将检索质量和生成质量拆开检查的示例。
明天会用到
周一进入第 6 周混合检索:用今天的错误分类先建立基线,再观察关键词检索与向量检索如何互补,并用同一评测集判断 RRF 是否改善长尾查询。