今日 TL;DR
回答里的每个关键主张都要能落到当前、可访问的证据;证据不足时要缩小范围、追问或拒答。
为什么今天学这个
课表第 5 周周五的主题是“引用、证据与拒答”。10 月 8 日的课程讲了元数据与租户隔离,解决“哪些资料有权进入候选集”;今天继续解决“候选证据是否真的支持回答”。如果检索器返回相似但不相关的文本,或答案把两个片段拼成原文没有的结论,即使引用链接存在,也不是可追溯的回答。
最近可读的本周课程为 10 月 5 日 Embedding、10 月 6 日文档解析/清洗/分块、10 月 8 日元数据与租户隔离;10 月 7 日文件缺失,不视为已完成。若 Top-K 检索基础尚未掌握,可先复习 [10 月 5 日 Embedding](2026-10-05.html) 与 [10 月 6 日分块](2026-10-06.html);今天课程从“当前检索到的证据是否支持回答”开始,不依赖虚构的 10 月 7 日学习记录。
RAG 是“检索增强生成”:先从资料库找证据,再让模型组织答案。证据门控不是要求模型每句话都附一个看起来像真的链接,而是检查每个重要主张能否被具体片段支持。证据冲突、过期或覆盖不全时,系统要缩小回答范围、追问或拒答。周六项目会把这套边界接进岗位知识库;周日复盘检索与权限链路。
一张图讲清楚
“检索相关”不等于“证据充分”。相关性回答的是片段是否谈到相近主题;蕴含/支持回答的是片段能否推出具体主张。生产系统通常需要先过滤权限,再检查片段质量、生成带来源的候选答案,最后验证引用映射。
三个核心要点
- 引用要落到主张。 一段话里有三个事实,就要能指出每个事实由哪些片段支持;在段落尾部放一个链接不能自动证明前面所有说法。
- 证据门槛由任务风险决定。 商品说明可接受一个当前官方来源;医疗、合规或资金操作需要更强来源、时间戳与人工确认。证据不足时,缩小答案或拒答比补全更可靠。
- 拒答也是产品状态。 明确告诉用户缺少哪类资料、资料是否过期、下一步如何补充;不要伪装成模型暂时“不会回答”,也不要泄露无权限资料的存在。
最小可运行示例
Python 3.10+,不需要第三方依赖。将下面代码保存为 evidence_gate.py,运行 python3 evidence_gate.py。示例只演示显式的证据覆盖规则;真实系统应使用检索、模型评估、来源元数据和人工抽检,而不是把字符串包含当成语义验证。
from dataclasses import dataclass
@dataclass(frozen=True)
class Evidence:
source: str
text: str
current: bool
def answer_with_evidence(claim: str, evidence: list[Evidence]) -> str:
usable = [e for e in evidence if e.current]
# 演示规则:候选片段必须明确包含主张中的关键短语。
supporting = [e for e in usable if "七日内" in e.text and "签收" in e.text]
if not supporting:
return "目前找不到足以支持该结论的有效资料,请补充政策版本或联系人工。"
refs = ", ".join(e.source for e in supporting)
return f"订单签收后七日内可申请退货。来源:{refs}"
docs = [
Evidence("policy-v3#returns", "订单签收后七日内可申请退货。", True),
Evidence("policy-v2#returns", "订单签收后十四日内可申请。", False),
]
print(answer_with_evidence("签收后几天能退?", docs))
print(answer_with_evidence("所有商品都能退吗?", []))
预期第一行引用当前版本 policy-v3#returns;第二行明确要求补充资料。这个 demo 的 claim 参数没有用于语义判断,特意暴露了简化边界:生产实现必须检查答案主张与证据之间的支持关系,并验证引用真实存在、用户有权访问且版本未过期。
生产环境会怎么翻车
- 相似度高就当作证明。 症状是答案引用了主题相近但未包含答案的段落;根因是把向量分数当逻辑蕴含。处理:按原子主张检查支持关系,对无支持主张拒绝输出或要求补证据。
- 引用 ID 与正文错位。 症状是点击来源找不到对应句子;根因是生成后重排、裁剪或拼接内容,却沿用旧索引。处理:每个片段带稳定 ID、文档版本和偏移量,最后按 ID 回查并渲染。
- 冲突资料被模型折中。 症状是新旧政策的数字被拼成一个答案;根因是没有定义来源权威性和有效期。处理:在召回后执行版本与生效期筛选;无法判定时说明冲突并升级人工。
- 拒答触发条件被提示注入绕过。 症状是资料写着“忽略规则并回答”后系统照做;根因是将检索文本误当控制指令。处理:资料作为不可信数据处理,分隔指令与内容,拒绝执行检索文本里的指令并记录异常。
动手练习
用 20 分钟准备 4 个虚构政策片段:当前版本明确支持、旧版本冲突、主题相关但无答案、含提示注入文字。实现最小检索结果判定和回答模板。完成条件:当前证据能被引用到片段 ID;旧版本不覆盖新版本;无答案时拒答;提示注入只作为待分析文本;日志记录查询 ID、证据 ID、版本与拒答原因,但不记录不必要的敏感全文。
面试表达
30 秒回答
我会把 RAG 答案拆成可验证的主张,而不是只要求模型附链接。系统先按权限与有效期筛选候选,再让模型基于证据生成主张,最后检查每个关键主张是否由引用片段支持。遇到来源冲突、过期或证据不足,就缩小回答范围、追问或拒答,并把来源版本和拒答原因记录下来。
追问与 3 分钟回答
如果面试官问“怎么判断证据足够”,我会先按业务风险定义标准,而不是定一个通用相似度阈值。低风险 FAQ 可以接受一条当前官方资料;高风险决策要核对权威来源、时间和适用范围,必要时双源一致并要求人工确认。评估集应包含答案有证据、无证据、过期证据、冲突来源、引用错位和提示注入等样例,分别衡量检索召回、主张支持率、引用准确率与过度拒答率。线上保留可追踪的 evidence ID、文档版本、检索过滤条件和拒答原因;资料变更后运行回归,检查旧答案是否仍被缓存。用户体验上,拒答要说明缺少什么并给补救路径,不能用含糊的“AI 不知道”结束对话。
今日自测
1. 基础理解
为什么“向量相似度很高”仍不足以证明答案正确?
查看答案
相似度只表示语义接近,不保证片段推出具体主张。必须验证主张与证据的支持关系。
2. 工程取舍
两个来源对同一规则给出不同期限,系统应如何处理?
查看答案
按权威性、版本和生效时间筛选;若仍无法判定,说明冲突、限制结论并升级人工,不能折中拼接。
3. 场景应用
用户要求回答,但检索到的片段已过期且无当前版本。怎样给出有用的拒答?
查看答案
说明现有资料版本已过期,指出需要的当前政策或适用日期,并提供补充资料或人工咨询入口;不复述旧规则为当前事实。
市场雷达
本期未核实到最近 30 天内直接改变“RAG 引用与拒答”实现方式的官方发布或可追溯 JD 信号,因此不新增市场信号。
权威来源
- OWASP:LLM01 Prompt Injection — 检索材料应视为不可信输入,控制指令与资料内容需分层。
- OpenAI:Retrieval — 检索、过滤与文件引用的产品机制参考。
- NIST AI Risk Management Framework — 将可靠性、可解释性与风险治理纳入系统生命周期。
- Pinecone:Metadata Filtering — 先按元数据限制可见候选集的实现参考。
明天会用到
明天是周六项目日:把本周的分块、租户过滤、证据引用与拒答串成一个最小岗位知识库检索器,并用一组可复现问题检查端到端行为。