今日 TL;DR
今天只解决一个架构问题:业务步骤已经清楚时,让代码编排;步骤依赖中间观察时,才考虑让模型选择下一步,并由程序限制可执行动作。
- LLM是生成与推理能力;给它工具并不自动形成自主Agent。
- Workflow由代码预先定义路径,Agent在程序限定的范围里动态选择行动。
- 判断方案看任务成功率、授权、成本与停止条件,不以“更自主”作为成功标准。
为什么今天学这个
上周围绕岗位知识库练了混合检索、重排、上下文组装和分层评测。本地可见最新课程是10月17日的RAG检索器项目,10月18日复盘记录缺失,因此不假定大家已经完成;可先回看项目课。今天按日历进入第7周,主线从“找到证据”转到“谁来决定下一步”。
LLM是大语言模型,它根据输入生成输出,可以提出工具请求;Workflow是工作流,把检索、检查、生成等步骤用代码连起来;Agent是让模型根据观察决定后续动作的系统。三者不是互斥产品类别:Workflow和Agent都可能调用LLM,也都可能使用工具。关键差别在控制流程,而不是界面看起来像不像聊天。
例如岗位知识库问答:已知流程是“查询知识库→没有证据就拒答→有证据就带引用回答”,通常固定工作流更容易验证。若任务是“查清某岗位要求,发现地点不明就追问,资料过期就换来源,最后整理差异”,下一步会依赖观察,可以考虑Agent。但仍应先确认固定分支是否足够,不能为了展示复杂度而引入循环。今天不讲完整ReAct轨迹;明天再把观察与行动串成清晰的循环。
一张图讲清楚
两条路径都由服务端掌握授权和验收。模型“想做什么”是建议,程序“允许执行什么”才是权限。预算应在循环前和每次工具调用前检查;不能等模型自己说停了才结算。图中的循环还需要拒绝、超时和预算耗尽出口,示例用步数上限展示其中一项,不代表生产约束已经齐备。
三个核心要点
- 按控制权区分。 单次LLM调用可输出答案或工具请求;工作流由代码规定调用顺序;Agent让模型结合工具观察选择下一步。工作流也能分支、重试或使用多个模型,所以“有循环”“多次调用”都不足以单独判断它是不是Agent。
- 自主性要交换成本。 步骤稳定、失败可枚举时,工作流的可预测性通常更有价值;步骤难提前穷举时,Agent可能更灵活,但会增加调用次数、延迟和错误路径。先用固定基线测任务集,再比较动态决策是否带来可验证收益,不能拿一个精彩演示替代评测。
- 工具执行与完成判定留在程序。 工具白名单、参数校验、服务端身份、预算和真实结果检查都要由代码落实。模型说“已完成”只是一段输出,写库成功、文件生成或引用可访问才是对应任务的证据。外部网页只是资料,不能给它提升工具权限。
最小可运行示例
保存为 control_flow.py,使用Python 3运行,无第三方依赖。输入为固定问题和两份本地资料。为了让控制流程可以离线复现,示例用明确标注的模拟决策器代替真实模型调用;它展示编排差异,不声称实现了真实自主推理或生产知识库。
DOCS = {"岗位": "Agent工程师需要工具调用与评测。",
"评测": "验收:答案引用必须来自当前用户可读资料。"}
def search(topic):
return DOCS.get(topic, "")
def workflow(question):
# 固定路径:检索岗位、检索评测、组织答案
evidence = [search("岗位"), search("评测")]
return {"question": question, "evidence": evidence,
"status": "ready" if all(evidence) else "needs_help"}
def simulated_model(observations):
# 教学替身,不是LLM:按观察决定下一步
if not observations:
return {"action": "search", "topic": "岗位"}
if "评测" in observations[-1] and len(observations) == 1:
return {"action": "search", "topic": "评测"}
return {"action": "finish"}
def bounded_agent(question, budget=3):
observations, trace = [], []
for step in range(budget):
decision = simulated_model(observations)
action = decision.get("action")
trace.append({"step": step + 1, "decision": decision})
if action == "finish":
ok = bool(observations) and all(observations)
return {"question": question, "evidence": observations,
"trace": trace,
"status": "ready" if ok else "needs_help"}
if action != "search":
raise ValueError("action not allowed")
topic = decision.get("topic")
if topic not in DOCS:
raise ValueError("invalid topic")
observations.append(search(topic))
return {"question": question, "evidence": observations,
"trace": trace, "status": "budget_exhausted"}
if __name__ == "__main__":
question = "我要为Agent工程师岗位准备什么?"
fixed = workflow(question)
dynamic = bounded_agent(question)
print("workflow:", fixed["status"], len(fixed["evidence"]))
print("agent:", dynamic["status"], len(dynamic["trace"]))
print("limited:", bounded_agent(question, budget=1)["status"])
运行 python3 control_flow.py,预期三行分别为 workflow: ready 2、agent: ready 3、limited: budget_exhausted。第一条路径始终查两次;第二条路径每轮读取观察后提出动作,程序审核后才执行。第三行说明预算耗尽是独立状态,不能伪装成成功。
这里的ready只表示示例证据非空,不证明答案正确。改为真实API时,模拟决策器位置返回结构化动作,必须先校验Schema,再进入白名单分派;不能执行模型返回的任意Python或Shell。生产还要限制单次超时、总墙钟时间、Token费用与工具副作用,区分“已查到资料”和“用户问题已解决”。
生产环境会怎么翻车
- 重复搜索直到费用失控。 症状是相同问题不断请求同一工具;根因是只规定目标而没有停止条件。处理:限制步数、时长和费用,对重复动作去重,耗尽时返回可恢复状态及已收集证据。
- 成功消息与真实状态不符。 症状是模型说报告已生成,文件却不存在;根因是把自然语言当执行回执。处理:工具返回可核验产物ID,完成前读取文件或查询数据库;观察和最终状态必须分别记录。
- 工具越权。 症状是用户问本部门岗位,却检索到别的租户资料;根因是让模型提供租户身份或在召回后才过滤。处理:身份来自服务端会话,在工具层授权,缓存也按权限隔离;模型不能扩大可读范围。
- 固定业务被过度Agent化。 症状是同样输入走不同路径,难回归且耗时上升;根因是把所有分支都交给模型。处理:先实现可测的工作流基线,只将真正依赖观察的局部决策开放,并记录与基线的任务成功率差异。
动手练习
用15–25分钟给示例增加一个“资料缺失”案例:将DOCS中的评测内容设为空字符串,修改模拟决策器使其在观察为空时提出追问动作,并由程序明确返回needs_help。随后分别运行正常、空资料和budget=1三条输入。完成条件:输出可区分成功、缺少资料和预算耗尽;trace能解释每一步;任何不在白名单的动作都在工具执行前被拒绝。不要用捕获所有异常后返回ready的方式让界面看起来成功。
再写三句话说明选择:岗位摘要固定流程用Workflow;动态查证可考虑Agent;涉及发消息或写库的动作必须有服务端权限和幂等规则。暂时只模拟追问,下一课再细化完整观察循环。
面试表达
30 秒回答
“LLM是能力组件,Workflow和Agent是编排方式。我按谁决定下一步区分:工作流由代码规定路径,Agent让模型结合观察选择行动。对于步骤清楚的业务,我先做工作流基线;只有动态规划带来可验证收益时才增加自主决策。工具权限、参数验证、预算、停止条件和最终验收仍由程序控制,不让模型自报成功代替真实结果。”
追问与 3 分钟回答
追问:工作流有循环和工具调用,为什么还不一定是Agent?
因为循环只是一种代码结构。例如“最多重试两次Schema校验”完全由程序决定,下一步早已定义;模型生成的只是待校验数据。真正需要区分的是下一步行动来自预设规则,还是模型根据新观察在允许的工具中选择。两者可以混合:外层工作流负责收集身份、权限检查与最终验收,内层Agent负责有预算的查证,再把结果交回固定流程。
我会先将任务拆出可验证目标:需要哪些资料、答案必须含什么引用、是否允许产生副作用、什么时候转人工。固定输入集同时跑工作流与Agent,记录任务成功率、证据正确率、延迟、调用数和费用,并按简单与复杂问题切片。如果Agent只改善少量复杂任务,可以做受限路由,而不是让所有请求都走循环。若没有改善,就保留固定流程。
生产执行时,模型返回动作建议,代码验证动作名、参数、当前状态与权限后分派。工具错误作为结构化观察返回,明确可重试或不可重试;有副作用的操作要做幂等,预算耗尽和用户取消都要有出口。验收读取真实产物,再给用户报告状态。这个设计的价值在可观测和可恢复,而不是让模型看起来更像人。这里的选择是工程建议,具体阈值要由业务风险和评测决定。
今日自测
先判断:连续调用三次LLM并使用搜索工具,是否足以认定系统是Agent?
1. 基础理解
同一个系统连续调用三次LLM,还调用了搜索工具,能否仅凭这些信息认定它是Agent?
不能。需要看下一步的控制权。若顺序与分支由代码事先规定,就是工作流;模型依据观察动态选择行动时,才具有这里讨论的Agent特征。
2. 工程取舍
岗位摘要任务步骤固定,Agent演示更炫但更慢,你如何决定是否替换工作流?
固定同一任务集比较成功率、证据正确率、延迟和费用,查看复杂问题的收益是否足以补偿成本。没有可验证改善就保留工作流,必要时只给复杂任务开放受限决策。
3. 场景应用
模型说已经把报告写入数据库,但工具超时且没有回执,界面该显示成功吗?
不该。先按幂等标识查询实际写入结果;状态未知时明确显示待确认或可恢复失败,避免重复副作用。自然语言输出不是落库证据。
市场雷达
本期无新增市场信号。今天核验的官方工程文章与框架文档用于概念依据,不把旧文发布时间写成最近30天岗位变化,也不编造新JD。
权威来源
- Anthropic:Building effective agents — 工作流与Agent的控制流区别、优先采用简单方案及成本取舍。原文首发2024-12-19,页面提醒部分工具背景已变化;本课引用架构定义,不沿用旧API。
- LangGraph:Workflows and agents — 预定路径与动态决策的区别,以及持久化和调试能力;本课不要求安装框架。
- ReAct论文 — 推理与行动结合的研究背景,明天进一步讲解;论文结果不是本示例的生产效果证明。
上述三页于2026-10-19 12:02前后(Asia/Shanghai)实际访问,均HTTP 200。
明天会用到
明天学ReAct:把目标、观察、动作与停止写成可追踪的循环。今天已经区分谁控制下一步,并保留trace和预算出口;这些会成为明天解释失败与停止的基础。