今日 TL;DR
今天把本周零件拼起来:模型提出动作,服务端控制状态,批准后执行,结果有回执,事后能按任务查清每一步。
- 审计记录业务事件与证据,不依赖模型事后复述自己的过程。
- 批准、执行意图、工具回执与任务完成分开记录;预算耗尽就是停止。
- 用稳定任务ID和执行键恢复,拒绝后不执行,重复恢复不重复新增结果。
为什么今天学这个
昨天把人工确认绑定到动作快照;周一到周四依次讨论了工作流与Agent、ReAct、状态图和预算。今天是课表第7周周六“可审计Agent”项目日,目标是交付能复查的小系统。10月18日本地没有课程,按日历继续,不声称已补完。尚未学过的同学可先读昨天审批课,再查看22日预算课。
审计的意思很朴素:任务为什么停、谁批准了什么、工具到底有没有做成,都有系统证据。它不要求保存模型隐藏思维链;记录可观察动作、输入摘要、版本、授权决定、结果与错误足够服务多数工程排查。业务日志用于还原事实,监控指标用于看整体健康,两者不能互相替代。
今天以“生成一份待发送摘要”为场景,工具仅在本地写一张回执表,不发送邮件、不访问模型。动作序列是模型建议的替身。这样能先证明控制边界,再接入真实模型。明天复盘何时不做Agent:如果步骤固定,今天这条确定性流程本身可能比自主规划更合适。
一张图讲清楚
拒绝直接终止,预算不足转stopped;两种情况都不能经过E。图展示正常路径,分支由下面代码的状态判断实现。事件表按递增序号排序,任务表给当前状态,回执表回答“执行过没有”。三张表服务不同问题;只保留最终答案无法判断中间哪一步越界。
三个核心要点
- 记录已发生的事件。 最少带任务ID、事件类型、旧新状态、服务端时间和结果标识。模型计划“准备调用”与工具回执“已经完成”是不同事实。原始文档、密码与完整个人信息不应默认写入日志;需要排查时通过受控证据ID访问。
- 把授权和预算放进状态机。 只有approved能进入执行;每次尝试都消耗额度,失败不免费。示例限制执行步数,生产还要加总deadline、费用与单工具超时。审批过期、权限撤销、动作版本变化时都应重新验证,不能只看数据库里曾经批准。
- 恢复依赖持久状态与幂等合同。 示例在单个SQLite事务内完成本地回执和终态写入,重复调用返回原状态。真实外部工具不在本地事务里,需要outbox、稳定幂等键及结果查询;超时没有回执必须标unknown,不能猜测成功或盲目重试。
最小可运行示例
保存为 auditable_agent.py,Python 3 标准库即可。在空目录执行 python3 auditable_agent.py;输入是固定的动作及三个任务。示例每次运行生成新的任务ID,数据库保留历史;不会向任何外部地址发送内容。
import json
import sqlite3
import time
import uuid
DB_PATH = "agent-demo.sqlite"
def connect():
db = sqlite3.connect(DB_PATH)
db.executescript("""
CREATE TABLE IF NOT EXISTS tasks (
id TEXT PRIMARY KEY, action TEXT, state TEXT, steps INTEGER);
CREATE TABLE IF NOT EXISTS events (
seq INTEGER PRIMARY KEY, task_id TEXT, kind TEXT,
old_state TEXT, new_state TEXT, at REAL);
CREATE TABLE IF NOT EXISTS receipts (
task_id TEXT PRIMARY KEY, result TEXT);
""")
return db
def event(db, key, kind, old, new):
db.execute("INSERT INTO events VALUES(NULL,?,?,?,?,?)",
(key, kind, old, new, time.time()))
def create(db, action):
key = str(uuid.uuid4())
with db:
db.execute("INSERT INTO tasks VALUES(?,?,?,0)",
(key, json.dumps(action, sort_keys=True), "pending"))
event(db, key, "created", "absent", "pending")
return key
def decide(db, key, allow):
db.execute("BEGIN IMMEDIATE")
try:
old = db.execute("SELECT state FROM tasks WHERE id=?", (key,)).fetchone()[0]
if old == "pending":
new = "approved" if allow else "rejected"
db.execute("UPDATE tasks SET state=? WHERE id=?", (new, key))
event(db, key, "approval", old, new)
db.commit()
except Exception:
db.rollback()
raise
def resume(db, key, max_steps=1):
db.execute("BEGIN IMMEDIATE")
try:
action, state, steps = db.execute(
"SELECT action,state,steps FROM tasks WHERE id=?", (key,)).fetchone()
if state != "approved":
db.commit()
return state
new = "stopped" if steps >= max_steps else "completed"
if new == "completed":
payload = json.loads(action)
# 本地事务工具:回执与状态一起提交,没有外部副作用
result = "prepared:" + payload["document_id"]
db.execute("INSERT INTO receipts VALUES(?,?)", (key, result))
steps += 1
db.execute("UPDATE tasks SET state=?,steps=? WHERE id=?", (new, steps, key))
event(db, key, "local_tool" if new == "completed" else "budget_stop", state, new)
db.commit()
return new
except Exception:
db.rollback()
raise
db = connect()
a = create(db, {"tool": "prepare_summary", "document_id": "doc-7"})
b = create(db, {"tool": "prepare_summary", "document_id": "doc-8"})
c = create(db, {"tool": "prepare_summary", "document_id": "doc-9"})
decide(db, a, True)
decide(db, b, False)
decide(db, c, True)
assert resume(db, a) == "completed"
assert resume(db, b) == "rejected"
assert resume(db, c, max_steps=0) == "stopped"
db.close()
db = connect() # 模拟进程重启后的重新连接
assert resume(db, a) == "completed"
assert db.execute("SELECT count(*) FROM receipts WHERE task_id=?", (a,)).fetchone()[0] == 1
assert db.execute("SELECT count(*) FROM receipts WHERE task_id IN (?,?)", (b,c)).fetchone()[0] == 0
for key in (a,b,c):
rows = db.execute("SELECT kind,new_state FROM events WHERE task_id=? ORDER BY seq", (key,)).fetchall()
print(rows)
db.close()
预期三行事件分别以 local_tool/completed、approval/rejected、budget_stop/stopped结束;第一条的重复恢复没有新增执行事件。断言验证的是本地事务性质,不是外部邮件恰好一次。示例不接受模型改写已保存action,审批后工具从数据库读取动作;生产需加参数Schema、工具白名单、动作版本、身份和租户校验。这里的SQLite文件没有防篡改能力,拥有文件写权限的人可以改记录,不能把它宣传成合规审计系统。
生产环境会怎么翻车
- 任务显示成功却没有结果。 根因是把模型的finish当完成。处理:完成条件检查业务回执;无结果标失败或待核验,并保存能关联工具查询的执行ID。
- 恢复后重复扣款或发送。 根因是外部操作成功而本地状态未写回。处理:稳定执行键、outbox和目标端查询;本地唯一键无法撤回外部重复请求,不支持幂等的工具需要人工处理未知结果。
- 日志泄漏简历或客户资料。 根因是整段提示词和响应无差别打印。处理:白名单字段、脱敏、访问控制和保留期限;审计记录只放资源ID与必要摘要,删除策略覆盖日志副本。
- 有审批仍越权。 根因是将历史approved当永久权限。处理:恢复前重查当前用户、租户和资源权限,校验动作版本与过期时间;本例省略的安全层上线前必须补齐。
动手练习
用20分钟增加 failed 与 unknown 两种结果,并模拟“工具超时但不知道外部是否执行”。完成条件:unknown不会被自动重试;事件能查到失败阶段;拒绝和预算耗尽不产生回执;重开数据库后状态仍可查询。再写一份五行交接说明:任务ID、当前状态、已经完成什么、缺什么证据、下一步由谁处理。不要在交接里放用户完整简历。
面试表达
30 秒回答
我把Agent拆成建议层和服务端控制层。状态机检查预算与权限,人工批准绑定具体动作;执行结果有稳定ID和回执,审计按任务串起关键事件。重试读取持久状态,遇到外部结果未知先查询,不把模型口头完成当成功。
追问与 3 分钟回答
如果问“为什么不把对话记录存下来就够了”,我会说明对话只记录表达,不足以证明工具真的执行,也无法可靠解决并发和恢复。任务表保存当前状态,事件表保存迁移,回执保存业务结果;这些信息由服务端产生,模型只能建议动作。演示时先展示一次正常执行,再拒绝一次,最后重启恢复,核对回执没有增加。
继续追问“数据库事务能不能保证一次执行”,我会区分本地和外部。今天的回执表是本地模拟工具,所以可与状态在同一事务提交;真实邮件或支付有跨系统边界,必须使用幂等合同、outbox和查询。每一次尝试仍计预算,超时返回未知。最后补充审计数据最小化、权限重检、记录留存与篡改防护,并说明固定流程不必加自由规划节点。能力来自可验证边界,而非使用多少框架名。
今日自测
1. 基础理解
为什么模型说“任务已完成”不能作为审计证据?
参考答案
它只是一段输出。完成必须由控制器依据工具回执与业务条件判断,并关联到任务和执行ID。
2. 工程取舍
本例的SQLite事务为什么不能直接证明外部邮件只发一次?
参考答案
外部邮件服务器不参与本地事务。发送成功与写回之间可能崩溃,需要稳定幂等键、查询和未知状态恢复。
3. 场景应用
恢复任务时发现approved但用户权限已撤销,应怎样处理并记录?
参考答案
拒绝继续执行,记录授权检查失败与终态;历史批准不能覆盖当前权限,且不应新增工具回执。
市场雷达
本期无新增市场信号。实际读取官方机制文档用于课程核验,不把文档可访问误写成最近30天岗位变化。
权威来源
- LangGraph Interrupts — 持久化暂停与恢复,中断节点重跑的副作用边界。
- Python sqlite3 — 事务、参数化SQL与提交回滚。
- Python logging — 日志系统接口;业务审计字段与脱敏方案为本课工程建议。
上述来源于2026-10-24 15:01—15:02(Asia/Shanghai)实际访问,均HTTP 200。代码为本课教学实现,独立于任何模型厂商。
明天会用到
明天复盘“何时不做Agent”:拿今天的项目比较固定工作流与自主规划,列出收益、失败面和运维成本,练习在系统设计面试里解释为什么选择更受控的方案。