AI 求职每日一课 · 2026-10-10
第 2 月 · 会构建 · 第 5 周 · 让 AI 找到正确的知识

AI 求职每日一课 · 2026-10-10

今天完成一个最小、可审计的 RAG 知识助手:先按服务端身份与 ACL 限定资料范围,再为回答主张绑定证据;证据不足、过期或冲突时追问或拒答。

课程阶段:第 2 月 · 会构建

本周主题:第 5 周 · 让 AI 找到正确的知识

今日主课:周六项目日:把 RAG 的权限、检索、证据与拒答串成可审计知识助手

今日成果:完成一个最小检索流程,按授权范围筛选资料,为回答主张标注证据,并在证据不足时拒答

适用岗位:AI 应用工程师 / Agent 工程师 / AI 前端 / AI 后端

预计用时:25 分钟

今日 TL;DR

今天完成一个最小、可审计的 RAG 知识助手:先按服务端身份与 ACL 限定资料范围,再为回答主张绑定证据;证据不足、过期或冲突时追问或拒答。

  • 先授权过滤,再检索,不能信任请求正文里的 tenant_id。
  • 将关键事实映射到片段 ID、文档版本和来源位置。
  • 校验回答是否被证据支持,并记录拒答和审计信息。

为什么今天学这个

课表第 5 周主题是“让 AI 找到正确的知识”。10 月 9 日讲引用、证据与拒答,前一日讲元数据和租户隔离;今天作为周六项目日,把本周技能串成一个小型岗位知识助手。10 月 7 日课程文件缺失,因此不把那天标记成已完成。需要预习的读者可先看 10 月 5 日 Embedding、10 月 6 日解析/分块,再复习 10 月 8 日权限过滤与 10 月 9 日证据门控。

RAG(检索增强生成)就是先从资料中找内容,再让模型据此回答。它解决模型不知道企业内部资料的问题,但也引入三类责任:检索不能越权、证据不能张冠李戴、资料不足时不能为了流畅而编答案。今天的目标不是做一个“看起来会回答”的聊天框,而是做一条从请求到引用都能解释的最小流程。

一张图讲清楚

用户问题服务端识别身份
服务端识别身份生成租户与 ACL 过滤器
生成租户与 ACL 过滤器混合检索候选片段
混合检索候选片段检查版本、来源与权限
检查版本、来源与权限按证据生成主张证据足够
检查版本、来源与权限追问或拒答不足/过期/冲突
按证据生成主张验证主张与证据映射
验证主张与证据映射答案 + 引用 + 审计信息全都支持
验证主张与证据映射追问或拒答存在无证据主张

“相关”不等于“支持”。片段可能谈到同一个主题,却没有回答用户问的数字、日期或适用条件。权限也不能留到回答阶段才处理:未授权片段一旦进入模型上下文,就已经越过边界。

三个核心要点

  • 先定可见范围,再做召回。 服务端从认证主体和授权关系推导租户、文档状态和 ACL;请求正文里的 tenant_id 只是用户输入,不能作为授权凭据。
  • 把回答拆成可核验的主张。 每个关键事实都映射到片段 ID、文档版本和来源位置。只在段落末尾附链接,不能证明链接支持段落里的所有说法。
  • 把拒答设计成正常产品状态。 证据过期、冲突或缺条件时,说明缺了什么,给出补充资料或转人工路径;不要把推测包装成肯定答案。

最小可运行示例

需要 Python 3.10+,不依赖第三方库。保存为 rag_project.py 后运行 python3 rag_project.py。示例用内存列表模拟权限过滤和证据校验;真实向量检索可替换 retrieve,但授权与证据契约应保留。

from dataclasses import dataclass

@dataclass(frozen=True)
class Chunk:
    tenant: str
    doc_id: str
    version: int
    text: str
    score: float
    current: bool

CHUNKS = [
    Chunk("acme", "returns-v3", 3, "签收后七日内可申请退货。", .91, True),
    Chunk("acme", "returns-v2", 2, "签收后十四日内可申请退货。", .87, False),
    Chunk("other", "private-1", 4, "另一个租户的内部折扣规则。", .99, True),
]

def retrieve(principal_tenant: str, query: str) -> list[Chunk]:
    # principal_tenant 应由认证服务提供,不能从 query/body 直接信任。
    visible = [c for c in CHUNKS
               if c.tenant == principal_tenant and c.current]
    return sorted(visible, key=lambda c: c.score, reverse=True)[:5]

def answer(evidence: list[Chunk]) -> str:
    supporting = [c for c in evidence if "七日内" in c.text]
    if not supporting:
        return "证据不足:请补充当前退货政策版本,或联系人工。"
    refs = ", ".join(f"{c.doc_id}@v{c.version}" for c in supporting)
    return f"订单签收后七日内可申请退货。来源:{refs}"

hits = retrieve("acme", "签收后几天能退?")
assert all(c.tenant == "acme" and c.current for c in hits)
assert all(c.doc_id != "private-1" for c in hits)
print(answer(hits))
print(answer([]))

预期第一行只引用 returns-v3@v3,旧版本不会覆盖当前政策;第二行因没有证据而拒答。字符串包含只是教学规则,不是生产级语义蕴含验证。真实系统应让模型返回主张与 evidence ID,再由校验层确认 ID 存在、属于当前用户可见范围、文档版本有效,并对高风险字段单独检查。

生产环境会怎么翻车

  1. 租户过滤只写在提示词里。 症状是答案引用其他客户文件;根因是全库候选已进入模型上下文。处理:在数据库查询阶段施加 ACL;测试模型输入中没有越权片段。
  2. 撤权后索引或缓存仍返回旧资料。 症状是文档删除后助手仍能复述;根因是主库、向量索引和缓存更新不同步。处理:把权限版本写入缓存键;撤权事件触发索引与缓存失效;状态不确定时失败关闭。
  3. 相似片段被当成答案证明。 症状是引用谈到退货、却没有写期限的段落;根因是把向量相似度误当逻辑支持。处理:逐主张检查证据覆盖;低置信或高风险问题追问或人工复核。
  4. 引用重排后错位。 症状是链接打开后找不到对应事实;根因是生成后裁剪或重排正文,却复用旧序号。处理:使用稳定的 doc_id + chunk_id + version,渲染前按 ID 回查来源和位置。
  5. 检索文本里的提示注入被执行。 症状是资料中的“忽略前面的要求”改变了任务;根因是控制指令与不可信资料没有分层。处理:检索内容作为数据引用,工具权限由服务端策略控制,并将注入样例加入回归集。

动手练习

用 20 分钟准备 6 条资料:当前政策、旧政策、另一租户私有文档、相关但不回答问题的段落、无答案问题,以及含提示注入的段落。完成条件:

  • 分别用租户 A/B 提问,越权资料不得进入模型上下文。
  • 当前版本优先于旧版本;撤权后模拟索引与缓存失效。
  • 每条答案列出证据 ID;没有支持证据时拒答。
  • 日志记录 request ID、租户/权限版本、候选 ID、文档版本和拒答原因,不保存不必要的敏感全文。

把查询、过滤器摘要、返回证据和最终答案记入一份 JSONL,方便周日复盘。不要把向量分数直接当成答案正确率。

面试表达

30 秒回答

我会把 RAG 拆成权限、检索和证据三个边界。服务端从认证身份推导 ACL,在召回前过滤候选;回答生成后,把关键主张映射到稳定证据 ID 并检查版本和访问权限。证据不足、冲突或过期时,我会缩小答案、追问或拒答,并记录足够的审计信息复现问题。

追问与 3 分钟回答

如果面试官追问“怎样判断答案真的有依据”,我会先把回答切成原子主张,比如期限、金额、适用对象分别验证。检索阶段除了相关性,还检查来源权威性、版本和生效日期;生成阶段要求模型返回主张与证据 ID;渲染前由服务端验证 ID 可查、用户有权访问、片段仍有效。离线测试集覆盖有证据、无证据、过期、冲突、错引、越权和提示注入,并分别衡量召回率、引用准确率、无依据主张率和过度拒答率。高风险业务提高来源与人工确认门槛。若向量库不支持细粒度 ACL,我会拆分索引,或先查询可见文档集合再检索,不能退回到“全库搜完再隐藏”。

今日自测

1. 基础理解

为什么检索到“主题相关”的片段,还不能证明答案正确?

查看答案相关性只表示语义接近,不保证片段推出答案里的具体主张。要验证主张与片段的支持关系,并检查版本、适用范围和来源位置。

2. 工程取舍

向量数据库不支持细粒度权限过滤时,应该把过滤写进提示词补救吗?

查看答案不应该。可以按租户/权限拆索引,或先由授权服务获取可见文档集合再检索;提示词不能建立访问控制边界。

3. 场景应用

当前资料过期,新旧政策给出不同期限,用户要求确定答案,系统如何响应?

查看答案说明资料存在版本冲突,暂不确认期限;指出需要的当前政策或生效日期,提供补充资料/人工入口,避免把旧规则说成现行规则。

市场雷达

本期没有核实到最近 30 天内直接改变上述 RAG 权限与证据实现方式的官方产品发布或可追溯 JD 信号。此判断仅针对本课主题,不代表 AI 招聘市场没有变化。

权威来源

明天会用到

明天是周日复盘:检查“解析/分块 → 召回 → 租户过滤 → 证据与拒答”链路,统计越权候选、过期引用和无证据主张;缺失的 10 月 7 日课程不作为已完成项。