AI 求职每日一课 · 2026-10-16
第 2 月 · 会构建 · 第 6 周 · 让 RAG 从能用到好用

AI 求职每日一课 · 2026-10-16

评估 RAG(检索增强生成)时,不能只看最终答案“像不像对”。先单独检查检索是否把正确证据带进上下文,再检查生成是否忠实使用这些证据,最后用端到端任务指标验证整体体验。分层评测能缩小排查范围,但不能替代真实用户反馈、权限测试或人工抽检。

课程阶段:第 2 月 · 会构建

本周主题:第 6 周 · 让 RAG 从能用到好用

今日主课:检索与生成分层评测:定位答案错在“没找对”还是“没用好”

今日成果:写出固定查询集,并分别计算检索命中和答案依据指标

适用岗位:AI 应用工程师 / Agent 工程师 / AI 前端 / AI 后端

预计用时:25 分钟

今日 TL;DR

评估 RAG(检索增强生成)时,不能只看最终答案“像不像对”。先单独检查检索是否把正确证据带进上下文,再检查生成是否忠实使用这些证据,最后用端到端任务指标验证整体体验。分层评测能缩小排查范围,但不能替代真实用户反馈、权限测试或人工抽检。

  • 给检索器一组有标准答案证据 ID 的固定问题,测 Recall@K 与 MRR;不要只抽“答得好的问题”。
  • 给生成器提供确定的证据上下文,检查正确性、引用支持度与拒答边界,隔离检索噪声的影响。
  • 按租户、时间、问题类型切片,监控回归;一个总分可能掩盖长尾问题和权限泄露。

为什么今天学这个

昨天(10月15日)学的是上下文组装:把排序后的候选去重、保留版本和来源、按预算构造成模型输入。今天沿第6周周五进入检索与生成分层评测,回答一个工程问题:如果最终答案错了,应该先修索引、检索、组装,还是提示词和生成逻辑?

本周已发布课程显示,10月12日练混合检索与RRF,10月13日练查询改写,10月14日练Reranker,10月15日练上下文组装。缺失的历史日期按日历继续,不伪造学习记录。今天把这些环节放进同一评估框架;明天(10月17日周六)课表进入“RAG 检索器”项目日,将用固定问题集完成一次端到端小改动,周日再复盘。

RAG 的输出由多个阶段共同决定。检索评测问“必要证据有没有进入前 K 条”;生成评测问“给定上下文后,答案是否正确、是否有证据支持”;端到端评测问“用户的问题是否在正确权限和延迟预算内得到可用结果”。这三者的分数不可互相替代:答案正确可能只是模型凭参数记住了事实,检索召回很高也可能因为上下文过杂而答错。

一张图讲清楚

固定问题与标准证据ID检索器 Recall@K / MRR
检索器 Recall@K / MRR记录实际上下文与权限过滤
记录实际上下文与权限过滤固定上下文测试生成器
固定上下文测试生成器正确性 / 忠实性 / 引用支持
正确性 / 忠实性 / 引用支持端到端任务与延迟成本
端到端任务与延迟成本按问题类型分析回归

标准证据 ID 是数据集中事先标注、足以支持答案的文档或片段标识。MRR(平均倒数排名)奖励正确证据排得靠前。评测集必须留出未参与调参的查询,否则团队可能只是在记住题库。

三个核心要点

  1. 检索与生成先分开,再看整体。 若标准证据没有进入上下文,优先检查切分、过滤、召回、重排和组装;若证据已在上下文却答错,才重点看提示、模型、引用解析与拒答策略。端到端指标最后确认这些局部改善是否真的让用户任务变好。
  2. 指标要对应失败模式。 Recall@K 看 K 条结果里命中的标准证据比例;MRR 看首个正确证据的位置。生成侧可抽样检查答案正确性、忠实性(答案是否被给定材料支持)和引用精确性。没有可信标签时,不应把 LLM-as-a-Judge(让模型评分)单一分数包装成客观真值。
  3. 用切片和错误样本解释平均分。 按资料版本、问题类型、语言、租户、长短问题分别看表现,并保留请求实际携带的证据 ID、过滤原因和模型版本。任何跨租户资料进入最终上下文都是安全缺陷,不可由平均准确率抵消。

最小可运行示例

保存为 evaluate_retrieval.py,使用 Python 3 运行;示例不需要第三方依赖。gold 是人工标注的充分证据 ID 集合,retrieved 是系统实际返回顺序。真实项目中应从离线日志和标注集读取,并对固定查询集重复计算。

from statistics import mean

cases = [
    {"query": "退款期限", "gold": {"policy-7d"},
     "retrieved": ["faq-old", "policy-7d", "policy-exception"]},
    {"query": "定制商品能否退", "gold": {"policy-custom"},
     "retrieved": ["policy-custom", "faq-return"]},
    {"query": "海外订单时效", "gold": {"intl-shipping"},
     "retrieved": ["domestic-shipping", "faq-general"]},
]

def recall_at_k(gold, retrieved, k):
    return len(gold & set(retrieved[:k])) / len(gold)

def reciprocal_rank(gold, retrieved):
    for rank, doc_id in enumerate(retrieved, start=1):
        if doc_id in gold:
            return 1 / rank
    return 0.0

k = 2
recalls = [recall_at_k(c["gold"], c["retrieved"], k) for c in cases]
mrr = mean(reciprocal_rank(c["gold"], c["retrieved"]) for c in cases)
print(f"Recall@{k}: {mean(recalls):.3f}")
print(f"MRR: {mrr:.3f}")
for case, score in zip(cases, recalls):
    if score == 0:
        print("检索漏证据:", case["query"], "expected=", sorted(case["gold"]))

预期输出为 Recall@2: 0.667、MRR: 0.611,并指出“海外订单时效”没有命中标准证据。若你改了查询改写或Reranker,应比较同一组问题的前后结果,而不是换题后比较两个平均分。该示例把每题 gold 设成单个证据,因此 Recall@K 只有 0/1;多证据答案应标注全部充分证据,并定义分母口径。

生产环境会怎么翻车

  1. 评测集是从成功案例挑的。 症状是离线分数很高,上线用户仍大量追问。根因是题库只包含常见问法或团队调参时反复看过。处理:从真实请求抽样,经脱敏后按时间切分训练/开发/保留集;保留集只用于发布门禁,定期补充新问题。
  2. 标准答案把多个有效来源当作唯一文档。 症状是正确替代证据被判错,团队错误地调坏召回。根因是 gold 标注只写一个 chunk ID,忽略父文档、版本或多个等价来源。处理:标注“充分证据集合”、版本有效期和引用关系;对有争议样本保留人工复核记录。
  3. 把检索命中率当成答案质量。 症状是 Recall@K 上升,答案反而更长、更容易拼接冲突。根因是检索阶段的相关不等于生成上下文足够清楚。处理:记录最终上下文,固定证据测试生成;测答案支持度、引用准确性和拒答质量,并做人工盲评。
  4. LLM 评审不稳定或偏袒长答案。 症状是同一答案多次评分变化,措辞更流畅的答案得分更高。根因是评分提示模糊、评审模型和被测模型存在偏差。处理:明确 rubric(评分量表)、提供证据依据、重复抽检;与人工标注对齐并披露一致率,不能只报 judge 分。
  5. 聚合指标掩盖权限事故。 症状是总体准确率达标,但少量答案引用其他租户材料。根因是评测没有身份与访问控制切片。处理:把服务端授权身份纳入数据集;将越权上下文设为零容忍断言,覆盖召回和最终请求两个边界。

动手练习

把示例扩成 8 个查询,至少包含普通问法、同义改写、过期版本、无答案问题和权限隔离样本。为每条记录标准证据集合、问题类型与租户,然后对比“只用向量召回”和“向量召回 + Reranker”在 Recall@2、MRR 及每类错误数上的差异。不要只以总分决定方案;写一段结论说明哪种问题改善、哪种问题仍需人工或拒答。

完成条件: 固定评测输入可重复运行;任何越权证据进入上下文都会使检查失败;无答案问题有预期拒答行为;结果能定位到单条查询与证据 ID。预计 15–25 分钟。

面试表达

30 秒回答

“我会把 RAG 评测拆成检索、生成和端到端三层。检索层用带充分证据 ID 的固定查询集看 Recall@K 和 MRR;生成层把上下文固定,评价正确性、证据忠实度和引用;最后再看真实任务完成率、延迟和成本。我还会按问题类型、版本和租户切片,并把越权证据设成零容忍。这样答案变差时能定位具体阶段,而不是只盯一个总准确率。”

追问与 3 分钟回答

追问:如果 Recall@5 已经 95%,是否说明检索效果足够好?

“不能直接这么说。首先要知道 95% 的分母是什么:每个问题只有一个 gold 证据,还是多个充分证据;标签是否覆盖父文档、版本和等价来源。其次,K=5 是否符合实际上下文预算,命中的证据是否最终进入模型请求,是否被截断或被组装逻辑排到模型不易利用的位置。最后,剩下的 5% 漏召回是否集中在高风险问题、某个租户或某种文档格式。平均数隐藏了这些差异。”

“工程上我会先冻结一份按时间留出的查询集,定义充分证据集合和问题分类。检索侧算 Recall@K、MRR,并记录召回、过滤、重排及最终组装的 ID;生成侧固定上下文,测答案是否正确、每个主张是否有材料支持、引用是否指向实际发送片段。对无法由材料回答的问题,检查是否按预期追问或拒答。端到端再看任务完成、延迟和成本,以及权限安全断言。”

“自动指标只能帮助筛查。字符串匹配对同义表达敏感,LLM 评审可能偏好长答案或产生随机性,因此我会写清 rubric,抽取代表性失败样本做盲评,并报告与人工判断的一致情况。若检索指标上升但答案引用错误,要查看上下文组装、冲突来源和提示;若检索本身漏掉证据,则先修分块、召回或权限过滤,而不是靠提示词补救。”

追问:什么时候用 LLM-as-a-Judge?

“适合用来批量排序和发现候选错误,尤其是需要语义判断的忠实性;不适合把一个未校准的 judge 分数当作发布真值。我会在一小组人工标注样本上验证一致性,固定模型和提示词版本,并保留原始输入、证据与理由。对安全边界、财务/医疗结论等高风险项,仍要使用规则断言和人工审核。”

今日自测

1. 基础理解

Recall@K 与 MRR 分别回答什么?

查看答案Recall@K 看前 K 个结果里是否覆盖充分证据;MRR 看第一个正确证据排名,越靠前得分越高。两者都不直接衡量生成答案正确性。

2. 工程取舍

检索层分数提高,但最终答案忠实度下降,下一步先检查什么?

查看答案检查实际进入模型的上下文、去重与排序、版本冲突、token 截断以及引用 ID 映射,再固定上下文评估生成。不能把“召回更多”直接视为“答案更好”。

3. 场景应用

总体准确率很高,但有一条记录把其他租户的片段放入上下文,是否可以发布?

查看答案不可以。跨租户片段是权限缺陷,不能被平均准确率抵消。应阻断发布、修复服务端授权过滤,并加入召回与最终请求边界的回归断言。

市场雷达

本课是 RAG 评测基础方法,未找到与“检索与生成分层评测”直接相关且可逐条核实的近 30 天新 JD 要求。本期无新增市场信号;这不代表岗位不考评测,简历应以可复现的评测集、错误分析和上线改进证据说明能力。

权威来源

明天会用到

明天把今天的固定问题集变成一个可重复运行的 RAG 检索器小项目:先保留基线,再加一项改动并记录哪些查询变好、哪些仍然失败。今天的充分证据标注、权限边界和错误切片会成为项目验收条件。