AI 求职每日一课 · 2026-10-13
第 2 月 · 会构建 · 第 6 周 · 让 RAG 从能用到好用

AI 求职每日一课 · 2026-10-13

一句话总览:保留原问与编号、否定、时间等硬约束,把改写作为有限辅助路径;相同权限下检索后用RRF融合,并用分桶评测证明额外延迟值得。

课程阶段:第 2 月 · 会构建

本周主题:第 6 周 · 让 RAG 从能用到好用

今日主课:查询改写与 RRF:扩大召回,但不改变用户真正的问题

今日成果:运行一个保留原问、拒绝关键编号变化、按稳定文档 ID 融合排名的检索实验,并比较改写前后的 Recall@3

适用岗位:AI 应用工程师 / Agent 工程师 / AI 前端 / AI 后端

预计用时:25 分钟

今日 TL;DR

一句话总览:保留原问与编号、否定、时间等硬约束,把改写作为有限辅助路径;相同权限下检索后用RRF融合,并用分桶评测证明额外延迟值得。

为什么今天学这个

昨天的混合检索课让 BM25(擅长精确词项的检索方法)与向量检索(寻找语义相近内容)共同召回,再用 RRF(倒数排名融合)合并结果。今天沿课表第 6 周周二学习“查询改写/RRF”:用户说“这个能退吗”,资料写的是“订单退货政策”,原问与资料术语不一致时,两路检索仍可能一起漏掉证据。

改写是在保留意图的前提下,把问题换成更适合搜索的表达;不是替用户决定答案,更不是补出没有提供的产品、时间或编号。例如“订单 A17 签收后怎么退”可以扩展成“订单 A17 退货政策”,不能变成“订单 A71 可以无条件退款”。用户历史若用于补全指代,必须属于当前授权会话,而且要能回指是哪条消息提供了信息。

最近七日的本地文件中,10 月 6、7 日均缺失;10 月 8–10 日提供权限、引用与项目基础,10 月 11 日复盘提前使用了第 6 周表述,10 月 12 日已经回到第 6 周周一混合检索。今天遵循日历继续第 6 周周二,不将历史周次差异伪造为按序全部完成。预备知识可复习 昨天混合检索 和 权限过滤。明天重排器会在今天形成的候选集合上判断哪些证据更值得排前面。

一张图讲清楚

原始问题与可信会话上下文生成少量搜索表达
生成少量搜索表达检查编号/实体/时间约束
检查编号/实体/时间约束原问与改写分别检索通过
检查编号/实体/时间约束只用原问检索失败或超时
只用原问检索原问与改写分别检索
服务端授权范围原问与改写分别检索
原问与改写分别检索稳定ID去重与RRF
稳定ID去重与RRF候选交给明天的重排器
候选交给明天的重排器证据充分才生成回答

原问是永远保留的基线,改写只是增加检索路径。权限不是改写出来的文字:每一路查询都应使用服务端同一份授权过滤器。多产生一路并不天然更好,若所有改写都意思相同,它们会在融合时重复为同一批文档投票。

三个核心要点

  • 保留原问与硬约束。 编号、实体、否定词、时间范围与用户授权不能被模型任意改写;歧义无法可靠消除时追问,或退回原问检索,不用猜测填空。
  • RRF 融合排名,不把分数当概率。 对每个结果按 1/(常数+名次) 累加,使用稳定文档 ID 去重;常数与候选深度不同,结果也可能不同。多路近重复改写会形成投票偏差,应限制数量、检查多样性,并记录来源路径。
  • 用固定留出集证明收益。 比较原问基线与改写方案的 Recall@K、排名、错误实体率、P95 延迟和每次请求成本;总体分数提高仍可能让编号类查询退步,必须按查询类型分桶。

最小可运行示例

Python 3.10+,无需第三方依赖或 API 密钥。保存为 rewrite_rrf.py,运行 python3 rewrite_rrf.py。检索器使用预置排名,改写器使用预置文本,目的是可复现演示校验、回退和融合;它不演示真实 LLM 的生成质量,也没有实现真实 BM25 或向量索引。

import re
from collections import defaultdict

original = "订单 A17 签收后怎么退"
proposals = ["订单 A17 退货政策", "订单 A71 退款办法"]
rankings = {
    original: ["shipping", "returns", "invoice"],
    "订单 A17 退货政策": ["returns", "deadline", "shipping"],
}
relevant = {"returns", "deadline"}

def ids(text):
    return set(re.findall(r"\b[A-Z][0-9]+\b", text))

def queries(question, candidates, limit=2):
    result = [question]  # 不能丢弃原问
    for text in candidates:
        if ids(text) != ids(question):
            continue  # 拒绝编号改变
        if text not in result:
            result.append(text)
        if len(result) >= limit + 1:
            break
    return result

def rrf(lists, constant=60):
    scores = defaultdict(float)
    for ranked in lists:
        seen = set()
        for rank, doc_id in enumerate(ranked, 1):
            if doc_id in seen:
                continue  # 同一路重复ID只计一次
            seen.add(doc_id)
            scores[doc_id] += 1 / (constant + rank)
    return sorted(scores, key=lambda d: (-scores[d], d))

def recall(ranked, gold, k=3):
    return len(set(ranked[:k]) & gold) / len(gold) if gold else 0.0

accepted = queries(original, proposals)
merged = rrf([rankings[q] for q in accepted])
print("queries:", accepted)
print("baseline:", rankings[original])
print("merged:", merged)
print("Recall@3:", recall(rankings[original], relevant),
      "->", recall(merged, relevant))
assert "订单 A71 退款办法" not in accepted
assert queries(original, []) == [original]

预期 queries 只包含原问与 A17 改写,融合排名为 returns、shipping、deadline、invoice,Recall@3 从 0.5 变为 1.0。这只是一个人为构造的小样本结果,不能作为真实产品增益。代码只检查编号集合,仍会放过“不能退”被改成“能退”、日期丢失等语义错误;生产要增加实体与约束抽取、改写相关性检查和风险样例抽检。RRF 的 60 是本例基线常数,不是普适最优值,也不是向量 Top-K。

生产环境会怎么翻车

  1. 编号被改错。 症状:搜到相邻订单或另一款产品。根因:模型把罕见编号视为可纠正拼写。处理:把编号作为硬约束保留,验证改写与原问实体一致;无法解析时使用原问,严禁靠相似答案补事实。
  2. 否定条件丢失。 症状:“不含试用期的岗位”返回大量试用岗位。根因:扩展关键词时只保留实体,忽略否定和范围。处理:将硬条件放入结构化过滤器,并对否定、日期、数值边界建立回归;过滤器必须来自用户明确条件和服务端权限。
  3. 扩写吞掉时延预算。 症状:短问题也要等多个模型与检索器,P95 明显升高。根因:无条件生成许多改写、串行检索,且无超时回退。处理:先判断是否需要改写,限制路径数,设置总截止时间;改写失败时原问基线可直接完成。
  4. 多路重复投票。 症状:同一份泛化资料占据榜首,精确答案反而落后。根因:几条近重复改写不代表独立证据,却在 RRF 中重复加权。处理:先去重改写,控制各通道权重与候选深度,保留每个 ID 的来源名次;以分桶评测检验偏差。
  5. 授权通过改写被扩大。 症状:追问另一组织后召回其私有片段。根因:将改写中的租户文字当作过滤值。处理:所有路径使用同一服务端主体和 ACL;改写只能修改搜索文本,不能改变权限参数。

动手练习

用 20 分钟准备 8 个查询:2 个简称或同义词问题、2 个含编号问题、2 个带否定/时间条件的问题、2 个含“这个/它”的追问。为每题标注支持文档,分别保存原问、改写、拒绝原因、各路前三名和融合前三名。完成条件:原问始终保留;错编号被拒;缺会话上下文时能追问;每路使用同一权限范围;报告逐题 Recall@3 和失败例,不只报平均值。额外记录改写路径数和总耗时,说明最多愿意支付多少延迟换召回。

面试表达

30 秒回答

查询改写用来缩小用户语言与资料语言的差距,我会把它作为原问之外的有限辅助路径。先保留编号、实体、否定和日期约束,无法消歧就追问;各路在相同权限范围内检索,按稳定 ID 用 RRF 融合。是否上线由固定评测集上的召回、排名、错误实体率和延迟成本决定,改写失败可退回原问。

追问与 3 分钟回答

追问:多查询不是应该召回越多越好吗?

候选多只代表搜索面扩大,不代表正确证据排得更好。几条近重复改写会给同一份资料重复投票;错误实体还可能把完全无关的资料带进上下文。设计时我先记录原问基线,再定义需要改写的类型,例如简称、同义表达、会话指代。改写输出是有限查询列表,每条带来源和校验结果,硬条件由程序保存,不允许模型增加权限。检索后用稳定 ID 合并各路排名,保留来源名次和融合分,明天再用重排器降低噪声。

实验应固定语料与索引版本,开发集调路径数和 RRF 常数,留出集验证;按编号、否定、指代、长尾分桶,同时记录延迟和请求费用。如果整体 Recall 上升而编号类退步,就检查原问权重、编号字段与重复投票,而不是继续增加查询数。线上设置改写预算和回退逻辑,监控失败率与原问回退率。没有可信上下文的“它”不应直接猜;若追问对用户成本较高,可以先给多个解释供选择,但不能隐瞒假设。最终生成仍需检查证据支持关系,检索融合分不是答案置信度。

今日自测

1. 基础理解

为什么开启查询改写后仍要保留原始问题?改写可能遗漏精确实体或改变意图;原问提供基线与失败回退,不能让模型生成的查询成为唯一入口。

2. 工程取舍

三条意思几乎相同的改写,能否直接视为三份独立证据参与 RRF?不能。它们是检索路径而不是事实证据;近重复路径会重复投票,应限制和去重改写,记录来源排名并用评测检查偏差。

3. 场景应用

改写把订单 A17 变成 A71,且新查询召回分数更高,应该怎么处理?拒绝该改写,保留 A17 原问和其他通过校验的路径;精确实体是硬约束,高分不能覆盖约束失败。

市场雷达

本期无新增市场信号。所引用文档用于工程原理,不将其页面更新时间推断为新产品发布,也不凭没有核验的 JD 推断招聘趋势。

权威来源

明天会用到

明天学习 Reranker(重排器):今天增加候选并保留检索轨迹,明天在这些候选中比较问题与文档的细粒度相关性。重排能改善排序,无法挽救根本没有进入候选的证据;继续使用今天的逐题评测集。