今日 TL;DR
评估 AI 功能,先写清用户要完成的任务,再确定可观察的成功条件。接口返回 200、模型回答流畅和任务完成是不同的结果;成功率还必须写明分母、观察窗口、数据来源和无法判断的情况。
为什么今天学这个
昨天复盘了 MCP、检查点和授权。本周转向评测:如果你做了一个简历岗位匹配助手,用户上传简历并粘贴岗位要求,系统给出有证据的差距清单,你如何证明它有帮助?模型给出漂亮回答不足以回答这个问题。先定义产品目标,再确定可以重复检查的指标,明天才能构建用于复测的样本集。
本课是历史补课,内容按课表所属日期编排;课程资料在补课时核查,不代表当日已发布或读者已完成后续课程。
一张图讲清楚
这里的业务目标表达用户价值;任务定义一个可以观察的行为;指标则需要明确如何计算。离线样本结果只说明样本上的表现,不能直接替代真实用户场景的效果。
三个核心要点
- 把目标变成可检查的任务。 例如“每条技能差距都有岗位依据,且不把简历里已有技能说成缺失”。先写判定规则和人工复核路径;不能因为生成了文本就算成功。
- 同时记录分子和分母。 任务成功率可以定义为“判定成功的已完成任务数 ÷ 判定成功或失败的任务数”,同时单列无法判断和用户取消数量。时间窗口、样本选择和判定方式随结果一起展示;分母为零时返回无数据而不是 0%。
- 质量、延迟和风险一起看。 假设团队希望一周内改善任务成功率,同时观察响应延迟、错误率和隐私事件。阈值应根据基线、成本和用户需要商定;本课不把示例阈值当作行业标准。接口可用性高不保证答案正确。
最小可运行示例
下面用 Python 标准库计算一组模拟结果,保存为 metrics_demo.py,运行 python3 metrics_demo.py。这些数据只是演示,并非真实产品效果。
from collections import Counter
results = ["success", "failure", "success", "unknown", "cancelled"]
counts = Counter(results)
assessed = counts["success"] + counts["failure"]
rate = counts["success"] / assessed if assessed else None
print("counts:", dict(counts))
print("assessed:", assessed)
print("success_rate:", f"{rate:.1%}" if rate is not None else "no data")
print("unknown:", counts["unknown"], "cancelled:", counts["cancelled"])
预期已判定样本数为 3、成功率为 66.7%,另有 1 条无法判断和 1 条取消。若将结果全部替换为 unknown,成功率应显示 no data。这个例子不处理抽样偏差、分组比较或统计置信区间;正式报告不能直接把这五条样本外推到所有用户。
生产环境会怎么翻车
- 症状:成功率接近 100%,用户仍觉得没用。 根因是把 HTTP 200 当成业务成功。处理:独立记录接口、模型及任务结果,并抽样检查实际答案。
- 症状:指标突然改善,但取消量也增加。 根因可能是失败任务被排除在分母之外。处理:公开分母定义,分别报告取消、失败和无法判断;核对取消原因后再解释趋势。
- 症状:评测分数提高,上线后隐私投诉增加。 根因可能是把真实简历原文复制进未经授权的评测环境。处理:按数据政策取得授权、最小化和脱敏,限制访问与保留期;脱敏结果仍需复核。
- 症状:小样本波动被误判成改进。 根因是只看百分比,没看样本数与构成。处理:展示计数、时间窗口及任务类型,扩充有代表性的样本后再比较。
动手练习
用 15–30 分钟为一个岗位匹配助手写一页指标卡。列出用户任务、成功与失败各一个例子、无法判断条件、分子分母和观察窗口;再列出一个延迟指标与一个隐私护栏。完成条件:另一位同事只凭指标卡能对相同样本做出一致判断;对无法判断样本有明确去向。
面试表达
30 秒回答
我先定义用户任务和可检查的成功条件,再明确指标分子、分母、时间窗口和未知样本的处理方式。除了质量,还观察延迟与安全护栏,并区分离线样本表现和真实业务效果。
追问与 3 分钟回答
以岗位匹配助手为例,目标是让用户识别可行动的技能差距。一个候选成功条件是:每条差距能追溯岗位依据,且不误报简历已具备的技能。先让人工按书面规则标注一批代表性任务,记录成功、失败、无法判断和取消;同时监控端到端延迟及隐私事件。模型评分可以辅助筛选,但要与人工抽查比较,不直接当作真实标签。改模型前固定样本和判定方式,改后按任务类别比较,并报告样本数;若高风险错误增加,即使平均分提高也不应直接上线。团队需先商定具体阈值和回滚条件。
今日自测
1. 基础理解
HTTP 200 为什么不能直接代表任务成功?
查看答案
HTTP 200 只表示接口按协议返回;结果可能不符合任务目标、缺少依据或包含错误,仍需业务层判定。
2. 工程取舍
无法判断的样本应计入成功还是失败?
查看答案
不要默默归入任一类。单独报告数量和比例,说明定义,再通过复核或补充证据降低未知比例。具体分母要写清楚。
3. 场景应用
模型升级后成功率从 80% 到 90%,能直接上线吗?
查看答案
先核对样本数、组成和判定一致性,并检查延迟、安全与高风险错误;离线分数本身不能保证真实用户效果。
市场雷达
本期无新增市场信号。
权威来源
- Google SRE:Service Level Objectives — 从用户关心的服务行为定义指标和目标。
- OpenTelemetry:Metrics — 指标与聚合的基本概念。
- OpenAI:Evaluation best practices — 面向模型应用的评估方法与持续评估。资料于补课时查阅,不用于声称 11 月 2 日发生了产品更新。
明天会用到
明天学习 Golden Set 和错误分类:把今天定义的任务和成功条件变成一组可复用、可追溯的评测样本。