AI 求职每日一课 · 2026-11-02
第 3 月 · 上生产 · 第 9 周 · 证明 AI 系统真的有效

AI 求职每日一课 · 2026-11-02

评估 AI 功能,先写清用户要完成的任务,再确定可观察的成功条件。接口返回 200、模型回答流畅和任务完成是不同的结果;成功率还必须写明分母、观察窗口、数据来源和无法判断的情况。

课程阶段:第 3 月 · 上生产

本周主题:第 9 周 · 证明 AI 系统真的有效

今日主课:从业务目标出发,为 AI 功能设计可验证指标

今日成果:为简历岗位匹配助手定义任务成功率、响应时间和安全护栏

适用岗位:AI 应用工程师 / Agent 工程师 / AI 前端 / AI 后端

预计用时:25 分钟

今日 TL;DR

评估 AI 功能,先写清用户要完成的任务,再确定可观察的成功条件。接口返回 200、模型回答流畅和任务完成是不同的结果;成功率还必须写明分母、观察窗口、数据来源和无法判断的情况。

为什么今天学这个

昨天复盘了 MCP、检查点和授权。本周转向评测:如果你做了一个简历岗位匹配助手,用户上传简历并粘贴岗位要求,系统给出有证据的差距清单,你如何证明它有帮助?模型给出漂亮回答不足以回答这个问题。先定义产品目标,再确定可以重复检查的指标,明天才能构建用于复测的样本集。

本课是历史补课,内容按课表所属日期编排;课程资料在补课时核查,不代表当日已发布或读者已完成后续课程。

一张图讲清楚

业务目标:帮助用户找到技能差距任务:生成可核查清单
任务:生成可核查清单定义成功与无法判断
定义成功与无法判断收集脱敏样本和结果
收集脱敏样本和结果成功率、延迟、安全事件
成功率、延迟、安全事件分析失败并复测

这里的业务目标表达用户价值;任务定义一个可以观察的行为;指标则需要明确如何计算。离线样本结果只说明样本上的表现,不能直接替代真实用户场景的效果。

三个核心要点

  1. 把目标变成可检查的任务。 例如“每条技能差距都有岗位依据,且不把简历里已有技能说成缺失”。先写判定规则和人工复核路径;不能因为生成了文本就算成功。
  2. 同时记录分子和分母。 任务成功率可以定义为“判定成功的已完成任务数 ÷ 判定成功或失败的任务数”,同时单列无法判断和用户取消数量。时间窗口、样本选择和判定方式随结果一起展示;分母为零时返回无数据而不是 0%。
  3. 质量、延迟和风险一起看。 假设团队希望一周内改善任务成功率,同时观察响应延迟、错误率和隐私事件。阈值应根据基线、成本和用户需要商定;本课不把示例阈值当作行业标准。接口可用性高不保证答案正确。

最小可运行示例

下面用 Python 标准库计算一组模拟结果,保存为 metrics_demo.py,运行 python3 metrics_demo.py。这些数据只是演示,并非真实产品效果。

from collections import Counter

results = ["success", "failure", "success", "unknown", "cancelled"]
counts = Counter(results)
assessed = counts["success"] + counts["failure"]
rate = counts["success"] / assessed if assessed else None
print("counts:", dict(counts))
print("assessed:", assessed)
print("success_rate:", f"{rate:.1%}" if rate is not None else "no data")
print("unknown:", counts["unknown"], "cancelled:", counts["cancelled"])

预期已判定样本数为 3、成功率为 66.7%,另有 1 条无法判断和 1 条取消。若将结果全部替换为 unknown,成功率应显示 no data。这个例子不处理抽样偏差、分组比较或统计置信区间;正式报告不能直接把这五条样本外推到所有用户。

生产环境会怎么翻车

  • 症状:成功率接近 100%,用户仍觉得没用。 根因是把 HTTP 200 当成业务成功。处理:独立记录接口、模型及任务结果,并抽样检查实际答案。
  • 症状:指标突然改善,但取消量也增加。 根因可能是失败任务被排除在分母之外。处理:公开分母定义,分别报告取消、失败和无法判断;核对取消原因后再解释趋势。
  • 症状:评测分数提高,上线后隐私投诉增加。 根因可能是把真实简历原文复制进未经授权的评测环境。处理:按数据政策取得授权、最小化和脱敏,限制访问与保留期;脱敏结果仍需复核。
  • 症状:小样本波动被误判成改进。 根因是只看百分比,没看样本数与构成。处理:展示计数、时间窗口及任务类型,扩充有代表性的样本后再比较。

动手练习

用 15–30 分钟为一个岗位匹配助手写一页指标卡。列出用户任务、成功与失败各一个例子、无法判断条件、分子分母和观察窗口;再列出一个延迟指标与一个隐私护栏。完成条件:另一位同事只凭指标卡能对相同样本做出一致判断;对无法判断样本有明确去向。

面试表达

30 秒回答

我先定义用户任务和可检查的成功条件,再明确指标分子、分母、时间窗口和未知样本的处理方式。除了质量,还观察延迟与安全护栏,并区分离线样本表现和真实业务效果。

追问与 3 分钟回答

以岗位匹配助手为例,目标是让用户识别可行动的技能差距。一个候选成功条件是:每条差距能追溯岗位依据,且不误报简历已具备的技能。先让人工按书面规则标注一批代表性任务,记录成功、失败、无法判断和取消;同时监控端到端延迟及隐私事件。模型评分可以辅助筛选,但要与人工抽查比较,不直接当作真实标签。改模型前固定样本和判定方式,改后按任务类别比较,并报告样本数;若高风险错误增加,即使平均分提高也不应直接上线。团队需先商定具体阈值和回滚条件。

今日自测

1. 基础理解

HTTP 200 为什么不能直接代表任务成功?

查看答案 HTTP 200 只表示接口按协议返回;结果可能不符合任务目标、缺少依据或包含错误,仍需业务层判定。

2. 工程取舍

无法判断的样本应计入成功还是失败?

查看答案 不要默默归入任一类。单独报告数量和比例,说明定义,再通过复核或补充证据降低未知比例。具体分母要写清楚。

3. 场景应用

模型升级后成功率从 80% 到 90%,能直接上线吗?

查看答案 先核对样本数、组成和判定一致性,并检查延迟、安全与高风险错误;离线分数本身不能保证真实用户效果。

市场雷达

本期无新增市场信号。

权威来源

明天会用到

明天学习 Golden Set 和错误分类:把今天定义的任务和成功条件变成一组可复用、可追溯的评测样本。