今日 TL;DR
今天是周六项目日:把本周练过的混合检索、查询改写、Reranker、上下文组装和分层评测,连成一条最小可运行的 RAG 检索器评测流程。项目只评估检索证据,不调用模型生成;这样先把“证据有没有找对”单独测清楚。
- 固定问题与标准证据 ID,不能根据系统结果临时改答案。
- 用 Recall@K 看必要证据是否出现,用 MRR 看第一个正确证据排得多靠前。
- 保留漏检查询作为错误样本;平均分上涨不能抵消权限错配或某类问题完全失效。
为什么今天学这个
昨天学的是检索与生成分层评测:先确认必要证据是否进入上下文,再判断生成是否忠实使用证据。今天按课表进入周六“RAG 检索器”项目,把本周步骤连起来。10月12日练混合检索与RRF,13日练查询改写,14日练Reranker,15日练上下文组装,16日练分层评测;本地最近7天记录只显示到16日,因此按日历继续,不补造缺课记录。明天周日复盘这套评测的盲点,并连接第7周“从工作流走向Agent”。
这个小项目把“检索结果列表”当输入,不实现真正向量库,以便把注意力放在指标和诊断上。生产系统还要验证索引更新、租户过滤、文档版本、延迟和成本。检索分数只能回答特定数据集上的检索质量,不能证明端到端答案正确。
一张图讲清楚
图中的标准证据 ID 是人工提前确认、足以支持回答的片段标识。它不是“唯一正确文档”:实际知识库可能有多个等价证据,所以应将它们都纳入 gold 集合。若标注不完整,Recall 会把正确答案误算成漏检。
三个核心要点
- 先固定评测集。 每条查询保存标准证据集合、租户、问题类型与数据版本。评测数据不能来自刚调好的提示词,也不能只挑成功案例;否则分数会高估真实效果。
- 检索指标不等于答案质量。 Recall@K 衡量标准证据有没有进入前 K;MRR 衡量第一个标准证据的排序位置。两者都不能证明答案忠实、引用正确或权限隔离有效。
- 让失败能被复现。 输出失败查询、期望证据、实际列表及过滤理由;对比改写前后、重排前后的变化。上线监控还要按租户和问题类型切片,不能只盯一个总分。
最小可运行示例
保存为 evaluate_retrieval.py,使用 Python 3 运行,无第三方依赖。输入是离线检索日志和人工标注;此处用三条小样本演示,不代表真实系统的统计结论。
from statistics import mean
cases = [
{"query": "退款期限", "gold": {"policy-7d"},
"retrieved": ["faq-old", "policy-7d", "policy-exception"]},
{"query": "定制商品能否退", "gold": {"policy-custom"},
"retrieved": ["policy-custom", "faq-return"]},
{"query": "海外订单时效", "gold": {"intl-shipping"},
"retrieved": ["domestic-shipping", "faq-general"]},
]
def recall_at_k(gold, retrieved, k):
if not gold:
raise ValueError("gold evidence must not be empty")
return len(gold & set(retrieved[:k])) / len(gold)
def reciprocal_rank(gold, retrieved):
return next((1 / rank for rank, doc in enumerate(retrieved, 1)
if doc in gold), 0.0)
k = 2
scores = [recall_at_k(c["gold"], c["retrieved"], k) for c in cases]
print(f"Recall@{k}: {mean(scores):.3f}")
print(f"MRR: {mean(reciprocal_rank(c['gold'], c['retrieved']) for c in cases):.3f}")
for c, score in zip(cases, scores):
if score == 0:
print("检索漏证据:", c["query"], "expected=", sorted(c["gold"]))
运行 python3 evaluate_retrieval.py,预期输出 Recall@2: 0.667、MRR: 0.611,并打印“海外订单时效”漏检。Recall 计算的是每条查询标准证据中命中的比例,再对查询取平均;若业务要按全部证据加权,需另行定义 micro Recall,不能把两种口径混称。
生产环境会怎么翻车
- 标准证据集漏标:症状是正确答案被判失败;根因是只标了一个文档或没纳入新版政策。处理:允许多个支持证据,保留标注版本并抽样复核。
- 评测集泄漏:调参后分数持续上涨,线上却无改善;根因是反复针对同一批查询优化。处理:分开发现集与保留集,并按时间滚动新增真实问题。
- 租户过滤在评测中被省略:总体 Recall 很好却可能把别的客户材料带入上下文。处理:权限规则作为硬性测试断言,任何跨租户结果都直接失败,不能被平均分抵消。
- 只看 Recall@K:标准证据进入前十但排在末尾,超出上下文预算后仍未被使用。处理:一起看 MRR、实际截断后的上下文,以及端到端引用支持率。
动手练习
用 10 条自己熟悉的 FAQ 查询构造 gold 集与检索结果,运行脚本;挑一条漏检和一条排序靠后的问题,分别写出你会检查的索引、过滤、查询改写或重排环节。完成条件:别人能从输入复现指标,并能看到至少一个明确的失败样本。
面试表达
30 秒回答
“我会先用固定查询和人工标注的证据 ID 单独评估检索,观察 Recall@K 和 MRR;再把相同上下文交给生成器测正确性、忠实性和引用支持。这样能区分漏检与生成错误。评测集会按租户、问题类型和数据版本切片,并将权限错配作为硬失败条件。”
追问与 3 分钟回答
追问:Recall@K 高就说明 RAG 做得好吗?
不够。Recall@K 只说明标注的证据有多少进入前 K 条,证据可能排在预算截断之后,也可能与当前租户不匹配。还要看 MRR 或 NDCG 了解排序,检查实际送给模型的上下文,再用固定上下文隔离生成质量。生成侧要验证答案正确性、引用能否支持结论以及不确定时是否拒答。最后用端到端任务成功率、延迟和成本确认局部指标改善真的有用户价值。评测集还需留出未参与调参的数据,并记录模型、索引和提示版本;否则分数无法复现。
今日自测
1. 基础理解
为什么 Recall@K 不能证明答案一定正确?
查看答案
它只看标准证据是否进入前 K 条,不检查模型是否读懂证据、是否忠实回答或是否引用正确。
2. 工程取舍
如果 Recall@10 很高但 MRR 很低,你先检查什么?
查看答案
先看排序位置与上下文预算:标准证据可能在前十却被截断。再比较重排前后排名,不要只盲目扩大 K。
3. 场景应用
一个租户查询返回了另一个租户的文档,但答案恰好正确,评测应如何处理?
查看答案
权限错误是硬失败。答案正确不能抵消越权数据进入上下文,应排查过滤、索引元数据和缓存隔离并加入回归测试。
市场雷达
本期无新增市场信号。课程保持检索器评测主线,不因未完成岗位来源核验而补写JD或岗位数字。
权威来源
- OpenAI Evals 指南 — 评测集设计、任务目标与持续评测。
- LangChain RAG 评测教程 — RAG 应用链路与检索/生成环节。
- Ragas 文档 — 检索召回与生成质量指标的定义和适用边界。
明天会用到
周日复盘:检查 gold 标注是否完整、离线指标是否与真实用户任务一致,并整理一条最有代表性的错误样本;下周进入Agent主题时,将继续沿用“可评估、可复现、能设边界”的习惯。