今日 TL;DR
Reranker 排出的候选并不会自动变成好答案:应用还要在权限边界内去重、扩展必要上下文、按问题相关性排序、控制 token 预算,并保留来源标识。上下文窗口是有限工作台,塞得越多不等于证据越充分。
- 先按服务端身份过滤,再挑选、组装;未经授权的片段不能进入模型请求。
- 按相关性选证据,但同一事实要去重;遇到版本冲突时保留时间和版本信息,不能“多数票”覆盖冲突。
- 先估算问题、系统指令、历史和回答预留,再确定证据预算;超限应可解释地截断或分批,而不是静默丢尾部。
为什么今天学这个
昨天(10月14日)学的是 Reranker:它在初次召回之后重新比较“问题—候选文本”,改善有限候选的排序。今天沿第6周周四进入上下文组装:把排序结果变成发送给模型的最终材料。周三课程练了查询改写和 RRF,扩大召回路径;现在需要避免把所有路径的结果一股脑塞进提示词。
本周已经可读的课程包括10月12日混合检索/RRF、10月13日查询改写与RRF、10月14日Reranker。10月11日是复盘课。日历更早的缺课文件不当成已完成记录;今天的练习只需要理解“召回候选”和“最终上下文”是两个不同集合。明天课表进入“检索与生成分层评测”,今天构造的日志和固定语料会直接成为评测输入。
RAG(检索增强生成)把外部资料放进模型输入,让回答使用模型参数之外的证据。上下文组装(context assembly/packing)是生成前的选择与编排:决定保留哪些候选、每段带什么来源标记、排列顺序、是否带上邻近段落,以及超过预算时怎么办。模型只会看到最终请求中的内容,不会看到被检索器找到但应用删掉的片段。
一张图讲清楚
每一步都应能记录输入/输出 ID:哪些文档因权限被过滤、哪些重复项被折叠、哪些段落因预算未进入上下文。图中的 ACL(访问控制列表)必须由可信服务端身份推导,不能把请求体里的 tenant_id 当作授权凭证。
三个核心要点
- 候选不等于上下文。 检索器通常多取一些材料以提高召回;生成器需要的是有限且有依据的证据集合。保留高相关片段和必要的定义/前提,移除同文重复片段,减少噪声与无关信息。
- 排序要兼顾“最相关”和“能读懂”。 将得分高的片段放前面通常利于预算截断,但把定义、例外条件和版本日期拆开会改变含义。可按文档/章节做局部扩展,再按主题合并;不是机械地只留单个最高分 chunk。
- 预算与权限都要在最终请求边界验证。 token 估算应预留 system prompt、用户问题、对话历史、工具结构和模型输出空间;最终发送前重新测量。输出引用应对应最终保留的证据 ID,不能引用已截断内容。
最小可运行示例
示例只展示组装逻辑,不依赖模型或向量数据库。保存为 pack_context.py,使用 Python 3 运行:
from dataclasses import dataclass
@dataclass
class Chunk:
id: str
doc: str
tenant: str
version: str
score: float
text: str
def pack(chunks, tenant, budget_chars):
# 字符预算只用于演示;生产环境应用目标模型 tokenizer。
allowed = [c for c in chunks if c.tenant == tenant]
allowed.sort(key=lambda c: c.score, reverse=True)
seen, picked, used = set(), [], 0
for c in allowed:
key = (c.doc, c.version, c.text.strip())
if key in seen:
continue
seen.add(key)
block = f"[{c.id} | {c.doc} | {c.version}] {c.text}"
if used + len(block) > budget_chars:
continue # 可换成“停止并记录”,策略应固定并可观测
picked.append(block)
used += len(block)
return "\n\n".join(picked)
items = [
Chunk("c-17", "退货政策", "shop-a", "v3", .91, "签收后七日内可申请退货。"),
Chunk("c-18", "退货政策", "shop-b", "v3", .99, "签收后七日内可申请退货。"),
Chunk("c-19", "退货政策", "shop-a", "v2", .86, "定制商品不适用无理由退货。"),
]
print(pack(items, tenant="shop-a", budget_chars=200))
预期只包含 shop-a 的 c-17 和 c-19;shop-b 即使分数更高也不能进入上下文。该示例用字符近似 token、只以文本去重,是教学简化;生产中需以 tokenizer、来源位置、访问控制和同文多版本规则替代。
生产环境会怎么翻车
- 租户过滤发生在组装之后。 症状是日志或模型请求里出现别的客户资料;根因是先全库检索,再在界面隐藏或回答后过滤。处理:由服务端身份在召回前过滤,最终请求前再断言每个 chunk 的 ACL 与租户一致,并加入跨租户回归用例。
- 高分片段截断了关键例外。 症状是答案引用了政策正文,却漏掉同页的除外条件;根因是按固定字符长度切片,只取 top-1。处理:保存章节/父文档关系,围绕高分子块按受控策略带上邻段或父段,再用问题集验证。
- 不同版本被拼成一条规则。 症状是答案同时出现新旧政策;根因是去重键只看文本相似度或未保留生效日期。处理:携带来源版本与有效时间;若两个有效期重叠或冲突,标记冲突并追问/拒答。
- 预算计算漏掉固定提示词和输出预留。 症状是服务端报上下文超限,或模型输出在后端被截断;根因是只数检索片段字符。处理:使用目标模型 tokenizer 估算总请求,预留生成 token,并为超限设可观测的降级路径。
- 引用指向未发送的片段。 症状是答案出现不存在于本次上下文的
[Source 4];根因是引用 ID 从原始候选表生成,截断后没同步映射。处理:从最终保留列表构造允许引用的 ID 集,输出后校验引用只属于该集合。
动手练习
用上面的示例增加 expires_at 和 section 字段,再实现两条规则:按租户过滤后,只允许当前日期有效的文档;若同一文档的两个版本有效期重叠,打印冲突标记而不是静默保留高分版本。最后把预算缩小到只够一段,检查程序日志是否说明哪一段没进入上下文。
完成条件: shop-b 的片段永不出现在输出;过期资料不会入选;冲突能被看见;每个保留片段的 ID、版本和来源可追溯。预计15–25分钟。
面试表达
30 秒回答
“Reranker 给我的是排序后的候选,不是已经可以直接发给模型的提示词。我会先用服务端身份过滤权限,再去重并保留版本、章节和来源信息,根据问题相关性选择片段,必要时带回定义或例外上下文。最后用目标模型 tokenizer 控预算,预留输出空间;截断后同步更新可引用 ID,并记录未入选原因。这样能让答案有据可查,也避免跨租户和过期内容进入模型。”
追问与 3 分钟回答
追问:只留相关性最高的几个片段是不是最好?
“不一定。相关性分数表示问题与片段匹配程度,不代表片段完整或足以支持答案。比如最高分段落写了退款期限,紧邻段落写定制商品例外;只留第一段会造成错误结论。我会定义组装单元和扩展规则:先按问题选子块,再按同文档的章节边界取必要的父段或邻段;同时给每段保留 source ID、版本与位置。去重时不能把不同生效期、不同主体的同句内容合并。发生冲突时保留双方和时间信息,或让系统追问,而非模型自行裁决。”
“预算方面,不能把模型最大上下文长度全部给检索材料。system 指令、工具 schema、历史对话和期望回答都消耗 token。我会先确定总预算,留出生成空间,再在固定排序与策略下装箱;若超限,按可解释规则减少候选、压缩重复内容或拆成多次检索。每次请求记录候选 ID、最终上下文 ID、token 数和截断原因,引用只允许来自最终上下文。”
“评估时固定语料快照、ACL、查询集和模型版本,比较不同排序/邻段策略对证据覆盖、引用正确率、答案质量、延迟和成本的影响。这样能知道改进来自检索、组装还是生成,而不是只看几条主观示例。”
今日自测
1. 基础理解
为什么 reranker 的 top-5 不应该直接等同于最终上下文?
参考答案
候选还要做权限检查、去重、补充必要前提、控制预算和排序;最终集合需要能支撑回答且可追溯。
2. 工程取舍
一个高分片段与一条低分片段来自同一规则的正文和例外条款,token 预算只够一条。你会如何决定?
参考答案
不能只按分数盲选;应评估例外是否改变结论、按章节或查询意图扩展上下文。若关键例外无法纳入,就缩小回答范围或拒答,并在日志中记录预算不足。
3. 场景应用
用户问“我的订单能退吗”,召回结果里有另一租户的更高分退货规则,如何处理?
参考答案
另一租户资料必须在服务端授权过滤阶段排除,不能进入模型上下文;不能用“高分”覆盖权限边界。当前租户资料不足时应追问必要订单信息或说明缺少依据。
市场雷达
本期无新增市场信号。最近30天材料未检索到与上下文组装直接相关、可用原始职位描述逐条验证的新岗位要求,因此不以泛化招聘趋势替代证据。
权威来源
- Microsoft Learn:RAG 提示构造 — 说明上下文、来源元数据和引用如何进入模型提示。
- AWS Prescriptive Guidance:上下文工程 — 将上下文窗口视作动态工作空间,说明检索资料是上下文来源之一。
- AWS Prescriptive Guidance:RAG grounding — 指出精度与提示经济性之间需要平衡,可通过分块、摘要和元数据过滤调整。
- [课程表:第6周](./_CURRICULUM.md) — 确认周四主题为上下文组装,周五进入分层评测。
明天会用到
明天会把今天记录的“候选集合、最终上下文、被截断证据、引用 ID”做成检索与生成分层评测数据,分清是检索漏证据、组装丢证据,还是模型没有忠实使用证据。