AI 求职每日一课 · 2026-09-25
AI JOB COURSE · 2026-09-25

流式对话的加载、部分结果与错误状态

流式输出不是 loading 开关:显式区分完成、部分结果、失败、取消与未知状态。

AI 求职每日一课 · 2026-09-25

课程阶段: 第 1 月 · 会调用 本周主题: 第 3 周 · 做出流畅的 AI 对话体验 今日主课: 流式对话的加载、部分结果与错误状态 今日成果: 实现一个只在收到明确终态后才报告成功的 UI 状态归约器 适用岗位: AI 应用工程师 / Agent 工程师 / AI 前端 / AI 后端 预计用时: 25 分钟

今日 TL;DR

流式输出不是一个 loading 开关。连接中、收到内容、完成、失败、取消和断线后状态未知都要分别呈现;HTTP 200 只表示请求被接受,不保证生成完整。

今日面试经验 Top 3

  1. 没有收到完成事件就断线怎么办? 保留已收到的部分内容并标为未完成;查询服务端任务状态或按游标恢复,不能伪装成功。
  2. 用户点停止后能否立刻显示已取消? 不能。前端停止读取不代表上游模型停止,需后端确认取消或显示“正在停止/结果待确认”。
  3. 重试会不会重复计费? 可能。将重试建模为新的 attempt,使用 request/attempt ID,明确副作用和费用语义。

为什么今天学这个

周四的课讨论历史裁剪,解决“下一次请求带什么”;今天解决“本次请求正在发生什么”。用户看到的界面必须反映系统能证明的事实。流式响应可能已有部分文字,也可能因代理层断开而没有可靠终态,因此单一布尔值 loading 无法表达真实状态。

一张图讲清楚

stateDiagram-v2
  [*] --> connecting
  connecting --> streaming: 收到内容
  connecting --> failed: 明确错误
  connecting --> unknown: 无终态断线
  streaming --> completed: 收到 done
  streaming --> failed: 明确错误
  streaming --> cancelling: 用户停止
  streaming --> partial: 无终态断线且有内容
  cancelling --> cancelled: 服务端确认停止
  cancelling --> unknown: 无法确认
  partial --> streaming: 按游标恢复

partial 说明有可展示内容但流未正常结束;unknown 说明客户端无法判定服务端是否仍在运行。两者都不能冒充 completed。

三个核心要点

  • 终态必须有协议证据。 只有应用层 done 事件代表成功。HTTP 状态码、连接关闭和收到若干 token 都不是完成信号。
  • 部分内容可以保留,必须标明边界。 展示已生成文本并注明“回答未完成”,提供恢复或重新生成入口;不要把半句话写进正式历史并当作完整答案。
  • 取消需要端到端确认。 AbortController 只能停止浏览器读取。服务端应关联任务 ID、取消上游调用并回报结果;无法确认时展示 unknown,避免用户重复触发有副作用的操作。

最小可运行示例

保存为 stream_ui_state.py,运行 python3 stream_ui_state.py:

from dataclasses import dataclass

@dataclass
class Stream:
    state: str = "connecting"
    text: str = ""

    def event(self, kind, data=""):
        if self.state not in {"connecting", "streaming", "cancelling"}:
            raise ValueError(f"terminal state: {self.state}")
        if kind == "token" and self.state != "cancelling":
            self.state, self.text = "streaming", self.text + data
        elif kind == "done":
            self.state = "completed"
        elif kind == "error":
            self.state = "failed"
        elif kind == "cancelled":
            self.state = "cancelled"
        else:
            raise ValueError(f"unexpected event: {kind}")

    def disconnect(self):
        if self.state == "connecting": self.state = "unknown"
        elif self.state == "streaming": self.state = "partial" if self.text else "unknown"
        elif self.state == "cancelling": self.state = "unknown"

ok = Stream(); ok.event("token", "你好"); ok.event("done")
cut = Stream(); cut.event("token", "未完"); cut.disconnect()
print(ok.state, ok.text)    # completed 你好
print(cut.state, cut.text)  # partial 未完

生产环境会怎么翻车

  • 把 EOF 当成功: 用户收到截断答案。解析器必须要求终态事件,EOF 转为 partial 或 unknown。
  • 停止按钮只改前端: 页面显示已取消,模型仍继续生成并计费。将取消请求发给后端,使用任务 ID 确认上游状态。
  • 自动重连从头生成: 重复内容、重复费用,甚至重复工具副作用。区分传输重连与新 attempt;只在服务端支持时按事件游标恢复。

动手练习

给一个模拟 SSE 页面增加 connecting / streaming / completed / partial / failed / cancelling / cancelled / unknown 状态。依次注入 token → done、token → disconnect、token → cancel timeout;完成条件是三种结果分别显示成功、未完成、状态待确认,且不能混淆。

面试表达

30 秒回答

“我会把流式生成实现为显式状态机,而不是一个 loading 布尔值。只有收到应用层 done 事件才算完成;收到内容后断线保留部分结果并标记未完成,明确 error 显示失败。用户取消要传到服务端并等待上游确认,无法确认就显示 unknown。恢复与重试分开,重试作为新 attempt 并说明可能的费用和副作用。”

追问与 3 分钟回答

服务端应为任务分配稳定 ID,并记录有序事件或可查询终态。客户端断线后先查任务状态;服务端支持事件持久化时按最后游标重放。若任务仍运行则继续订阅;若已经完成则取最终结果;若服务端无法判断,不得谎报成功。取消请求也应幂等:多次取消同一任务返回同一最终状态。UI 要把“停止接收”和“模型已停止”分开表达,并保留部分输出供用户决定继续、复制或重新生成。

今日自测

1. 基础理解

HTTP 200 后连接意外关闭,能否标记 completed?

查看答案不能。除非收到协议定义的成功终态,否则按 partial 或 unknown 处理。

2. 工程取舍

浏览器 AbortController 返回后,能否断言推理已停止?

查看答案不能。还需要服务端确认任务取消及上游停止状态。

3. 场景应用

自动重连后又收到同一段内容,如何避免重复展示?

查看答案用稳定事件 ID/游标去重,并区分恢复同一 attempt 与启动新 attempt。

市场雷达

本期无新增市场信号;本课是通用流式交互与可靠性能力,不引用未经核实的岗位数字。

权威来源

明天会用到

周六把今天的状态机接入完整流式聊天页,并与历史裁剪、取消及恢复串起来。