今日 TL;DR
一句话总览:保留原问与编号、否定、时间等硬约束,把改写作为有限辅助路径;相同权限下检索后用RRF融合,并用分桶评测证明额外延迟值得。
为什么今天学这个
昨天的混合检索课让 BM25(擅长精确词项的检索方法)与向量检索(寻找语义相近内容)共同召回,再用 RRF(倒数排名融合)合并结果。今天沿课表第 6 周周二学习“查询改写/RRF”:用户说“这个能退吗”,资料写的是“订单退货政策”,原问与资料术语不一致时,两路检索仍可能一起漏掉证据。
改写是在保留意图的前提下,把问题换成更适合搜索的表达;不是替用户决定答案,更不是补出没有提供的产品、时间或编号。例如“订单 A17 签收后怎么退”可以扩展成“订单 A17 退货政策”,不能变成“订单 A71 可以无条件退款”。用户历史若用于补全指代,必须属于当前授权会话,而且要能回指是哪条消息提供了信息。
最近七日的本地文件中,10 月 6、7 日均缺失;10 月 8–10 日提供权限、引用与项目基础,10 月 11 日复盘提前使用了第 6 周表述,10 月 12 日已经回到第 6 周周一混合检索。今天遵循日历继续第 6 周周二,不将历史周次差异伪造为按序全部完成。预备知识可复习 昨天混合检索 和 权限过滤。明天重排器会在今天形成的候选集合上判断哪些证据更值得排前面。
一张图讲清楚
原问是永远保留的基线,改写只是增加检索路径。权限不是改写出来的文字:每一路查询都应使用服务端同一份授权过滤器。多产生一路并不天然更好,若所有改写都意思相同,它们会在融合时重复为同一批文档投票。
三个核心要点
- 保留原问与硬约束。 编号、实体、否定词、时间范围与用户授权不能被模型任意改写;歧义无法可靠消除时追问,或退回原问检索,不用猜测填空。
- RRF 融合排名,不把分数当概率。 对每个结果按 1/(常数+名次) 累加,使用稳定文档 ID 去重;常数与候选深度不同,结果也可能不同。多路近重复改写会形成投票偏差,应限制数量、检查多样性,并记录来源路径。
- 用固定留出集证明收益。 比较原问基线与改写方案的 Recall@K、排名、错误实体率、P95 延迟和每次请求成本;总体分数提高仍可能让编号类查询退步,必须按查询类型分桶。
最小可运行示例
Python 3.10+,无需第三方依赖或 API 密钥。保存为 rewrite_rrf.py,运行 python3 rewrite_rrf.py。检索器使用预置排名,改写器使用预置文本,目的是可复现演示校验、回退和融合;它不演示真实 LLM 的生成质量,也没有实现真实 BM25 或向量索引。
import re
from collections import defaultdict
original = "订单 A17 签收后怎么退"
proposals = ["订单 A17 退货政策", "订单 A71 退款办法"]
rankings = {
original: ["shipping", "returns", "invoice"],
"订单 A17 退货政策": ["returns", "deadline", "shipping"],
}
relevant = {"returns", "deadline"}
def ids(text):
return set(re.findall(r"\b[A-Z][0-9]+\b", text))
def queries(question, candidates, limit=2):
result = [question] # 不能丢弃原问
for text in candidates:
if ids(text) != ids(question):
continue # 拒绝编号改变
if text not in result:
result.append(text)
if len(result) >= limit + 1:
break
return result
def rrf(lists, constant=60):
scores = defaultdict(float)
for ranked in lists:
seen = set()
for rank, doc_id in enumerate(ranked, 1):
if doc_id in seen:
continue # 同一路重复ID只计一次
seen.add(doc_id)
scores[doc_id] += 1 / (constant + rank)
return sorted(scores, key=lambda d: (-scores[d], d))
def recall(ranked, gold, k=3):
return len(set(ranked[:k]) & gold) / len(gold) if gold else 0.0
accepted = queries(original, proposals)
merged = rrf([rankings[q] for q in accepted])
print("queries:", accepted)
print("baseline:", rankings[original])
print("merged:", merged)
print("Recall@3:", recall(rankings[original], relevant),
"->", recall(merged, relevant))
assert "订单 A71 退款办法" not in accepted
assert queries(original, []) == [original]
预期 queries 只包含原问与 A17 改写,融合排名为 returns、shipping、deadline、invoice,Recall@3 从 0.5 变为 1.0。这只是一个人为构造的小样本结果,不能作为真实产品增益。代码只检查编号集合,仍会放过“不能退”被改成“能退”、日期丢失等语义错误;生产要增加实体与约束抽取、改写相关性检查和风险样例抽检。RRF 的 60 是本例基线常数,不是普适最优值,也不是向量 Top-K。
生产环境会怎么翻车
- 编号被改错。 症状:搜到相邻订单或另一款产品。根因:模型把罕见编号视为可纠正拼写。处理:把编号作为硬约束保留,验证改写与原问实体一致;无法解析时使用原问,严禁靠相似答案补事实。
- 否定条件丢失。 症状:“不含试用期的岗位”返回大量试用岗位。根因:扩展关键词时只保留实体,忽略否定和范围。处理:将硬条件放入结构化过滤器,并对否定、日期、数值边界建立回归;过滤器必须来自用户明确条件和服务端权限。
- 扩写吞掉时延预算。 症状:短问题也要等多个模型与检索器,P95 明显升高。根因:无条件生成许多改写、串行检索,且无超时回退。处理:先判断是否需要改写,限制路径数,设置总截止时间;改写失败时原问基线可直接完成。
- 多路重复投票。 症状:同一份泛化资料占据榜首,精确答案反而落后。根因:几条近重复改写不代表独立证据,却在 RRF 中重复加权。处理:先去重改写,控制各通道权重与候选深度,保留每个 ID 的来源名次;以分桶评测检验偏差。
- 授权通过改写被扩大。 症状:追问另一组织后召回其私有片段。根因:将改写中的租户文字当作过滤值。处理:所有路径使用同一服务端主体和 ACL;改写只能修改搜索文本,不能改变权限参数。
动手练习
用 20 分钟准备 8 个查询:2 个简称或同义词问题、2 个含编号问题、2 个带否定/时间条件的问题、2 个含“这个/它”的追问。为每题标注支持文档,分别保存原问、改写、拒绝原因、各路前三名和融合前三名。完成条件:原问始终保留;错编号被拒;缺会话上下文时能追问;每路使用同一权限范围;报告逐题 Recall@3 和失败例,不只报平均值。额外记录改写路径数和总耗时,说明最多愿意支付多少延迟换召回。
面试表达
30 秒回答
查询改写用来缩小用户语言与资料语言的差距,我会把它作为原问之外的有限辅助路径。先保留编号、实体、否定和日期约束,无法消歧就追问;各路在相同权限范围内检索,按稳定 ID 用 RRF 融合。是否上线由固定评测集上的召回、排名、错误实体率和延迟成本决定,改写失败可退回原问。
追问与 3 分钟回答
追问:多查询不是应该召回越多越好吗?
候选多只代表搜索面扩大,不代表正确证据排得更好。几条近重复改写会给同一份资料重复投票;错误实体还可能把完全无关的资料带进上下文。设计时我先记录原问基线,再定义需要改写的类型,例如简称、同义表达、会话指代。改写输出是有限查询列表,每条带来源和校验结果,硬条件由程序保存,不允许模型增加权限。检索后用稳定 ID 合并各路排名,保留来源名次和融合分,明天再用重排器降低噪声。
实验应固定语料与索引版本,开发集调路径数和 RRF 常数,留出集验证;按编号、否定、指代、长尾分桶,同时记录延迟和请求费用。如果整体 Recall 上升而编号类退步,就检查原问权重、编号字段与重复投票,而不是继续增加查询数。线上设置改写预算和回退逻辑,监控失败率与原问回退率。没有可信上下文的“它”不应直接猜;若追问对用户成本较高,可以先给多个解释供选择,但不能隐瞒假设。最终生成仍需检查证据支持关系,检索融合分不是答案置信度。
今日自测
1. 基础理解
为什么开启查询改写后仍要保留原始问题?
改写可能遗漏精确实体或改变意图;原问提供基线与失败回退,不能让模型生成的查询成为唯一入口。
2. 工程取舍
三条意思几乎相同的改写,能否直接视为三份独立证据参与 RRF?
不能。它们是检索路径而不是事实证据;近重复路径会重复投票,应限制和去重改写,记录来源排名并用评测检查偏差。
3. 场景应用
改写把订单 A17 变成 A71,且新查询召回分数更高,应该怎么处理?
拒绝该改写,保留 A17 原问和其他通过校验的路径;精确实体是硬约束,高分不能覆盖约束失败。
市场雷达
本期无新增市场信号。所引用文档用于工程原理,不将其页面更新时间推断为新产品发布,也不凭没有核验的 JD 推断招聘趋势。
权威来源
- Stanford IR Book:Relevance feedback and query expansion — 查询扩展与检索语言差异;09:07 访问 HTTP 200。
- Elastic:Reciprocal rank fusion — 排名融合机制、常数与窗口,09:07 访问 HTTP 200。
- Microsoft Learn:Hybrid search scoring / RRF — 多查询并行结果融合及分数边界;09:07 访问 HTTP 200。
- Cormack 等:RRF 原始论文 — 倒数排名融合方法;09:33 访问 HTTP 200。
明天会用到
明天学习 Reranker(重排器):今天增加候选并保留检索轨迹,明天在这些候选中比较问题与文档的细粒度相关性。重排能改善排序,无法挽救根本没有进入候选的证据;继续使用今天的逐题评测集。