且曼学院 · 每日课程

AI 求职每日一课 · 2026-09-26

第 1 月 · 会调用 / 第 3 周 · 做出流畅的 AI 对话体验

今日主课:周六项目:把 SSE 流式聊天做成可恢复、可取消的对话页

课程阶段: 第 1 月 · 会调用 本周主题: 第 3 周 · 做出流畅的 AI 对话体验 今日主课: 周六项目:把 SSE 流式聊天做成可恢复、可取消的对话页 今日成果: 运行一个 Node.js SSE 服务与浏览器客户端,完成增量渲染、取消和断线状态展示 适用岗位: AI 应用工程师 / Agent 工程师 / AI 前端 / AI 后端 预计用时: 30 分钟

今日 TL;DR

做流式聊天要定义事件协议和状态机:只有收到 done 才算完成;取消应传到上游,断线则保留可识别、可恢复的部分结果。

今日面试经验 Top 3

1 — 传输分片不等于模型 token

SSE 以空行分隔事件;一个网络 chunk 可能只有半个事件,也可能合并多个事件。来源:WHATWG SSE 规范。

2 — HTTP 200 不等于生成成功

应用必须识别明确的 done / error 终止事件,并将未完成文本标为 partial。来源:MDN Server-Sent Events。

3 — 取消 UI 不代表取消推理

取消信号需由客户端、服务端任务和上游模型共同处理并确认。来源:MDN AbortController。

今日成果:运行 Node.js SSE 服务与浏览器客户端,完成增量渲染、取消和断线状态展示。

适用岗位:AI 应用工程师 / Agent 工程师 / AI 前端 / AI 后端 · 预计 30 分钟

为什么今天学这个

课表从 9 月 21 日进入第三周:周一传输方式、周二 Token 流与 UI 状态机、周三取消/超时/重连、周四历史裁剪、周五 Loading/部分结果/错误、周六做项目。最近 7 天并非所有课程都连续发布;9 月 25 日课程缺失,因此不假装昨天已学完“状态体验”,这里先补上最小状态机,再把已有历史裁剪要点接进项目。下周将进入可靠模型访问层,本项目会成为多模型网关的前端验证器。

SSE(Server-Sent Events)是服务器通过一条 HTTP 响应持续向浏览器发送带事件边界的数据。它适合“浏览器发起一次请求,服务端持续输出”的文本生成;双向交互仍由后续 HTTP 请求完成。

一张图讲清楚

用户提交消息→ POST /chat→ SSE token / done / error→ 增量展示 / 完成→ AbortController 取消

三个核心要点

最小可运行示例

需要 Node.js 18+。保存为 server.mjs:

import { createServer } from 'node:http';
import { readFileSync } from 'node:fs';

createServer((req, res) => {
  if (req.url === '/' && req.method === 'GET') {
    res.writeHead(200, { 'Content-Type': 'text/html; charset=utf-8' });
    res.end(readFileSync(new URL('./client.html', import.meta.url))); return;
  }
  if (req.url !== '/chat' || req.method !== 'GET') {
    res.writeHead(404).end('not found'); return;
  }
  res.writeHead(200, {
    'Content-Type': 'text/event-stream; charset=utf-8',
    'Cache-Control': 'no-cache, no-transform',
    'Connection': 'keep-alive',
  });
  res.flushHeaders();
  const words = ['流式', '输出', '要有', '边界。'];
  let i = 0;
  const timer = setInterval(() => {
    if (i === words.length) {
      res.write('event: done\ndata: {}\n\n');
      clearInterval(timer); res.end(); return;
    }
    res.write(`event: token\ndata: ${JSON.stringify({ text: words[i++] })}\n\n`);
  }, 250);
  req.on('close', () => clearInterval(timer));
}).listen(8787, () => console.log('http://localhost:8787'));

保存 client.html,与服务同源打开或通过本地静态服务器访问:

<button id="send">开始</button><button id="stop">停止</button><pre id="out"></pre><script>
let controller;
document.querySelector('#send').onclick = async () => {
  controller = new AbortController();
  const out = document.querySelector('#out'); out.textContent = '生成中…\n';
  try {
    const r = await fetch('/chat', { signal: controller.signal });
    if (!r.ok || !r.body) throw new Error(`HTTP_${r.status}`);
    const reader = r.body.getReader(), decoder = new TextDecoder(); let buffer = '';
    while (true) {
      const { value, done } = await reader.read(); if (done) break;
      buffer += decoder.decode(value, { stream: true });
      const events = buffer.split('\n\n'); buffer = events.pop();
      for (const event of events) {
        const kind = event.match(/^event: (.+)$/m)?.[1];
        const data = event.match(/^data: (.+)$/m)?.[1] ?? '{}';
        if (kind === 'token') out.textContent += JSON.parse(data).text;
        if (kind === 'done') out.textContent += '\n[完成]';
      }
    }
  } catch (e) {
    out.textContent += e.name === 'AbortError' ? '\n[已停止,以上为部分结果]' : `\n[连接中断:${e.message}]`;
  }
};
document.querySelector('#stop').onclick = () => controller?.abort();
</script>

运行 node server.mjs,可验证分段到达和浏览器停止。生产端还要处理 UTF-8 分片边界:示例用 TextDecoder 默认非流式行为时,复杂多字节切片应采用 decoder.decode(value,{stream:true})(客户端已如此),解析器还须兼容 CRLF、多条 data 行及末尾未完成帧。

生产环境会怎么翻车

  1. 代理缓冲导致一次性吐出。 症状:服务器日志有多个 token,浏览器最后一次显示;根因:Nginx/CDN 缓冲或压缩合并;处理:按部署层关闭响应缓冲并在真实链路检查首字节时间。
  2. 用户点停止但模型仍继续。 症状:界面停了,账单和后端任务继续增长;根因:取消信号未传到上游 SDK/任务队列;处理:后端持有任务 ID,支持取消确认与超时回收。
  3. 断线内容被标为完整成功。 症状:部分回答进入历史并参与下一轮;根因:只监听连接关闭、不区分终止事件;处理:只有收到 done 才标完成,断线保留 partial 状态。
  4. 工具调用被拆碎。 症状:JSON 参数前半段被渲染成最终答案;根因:UI 把所有 delta 一律显示为用户文本;处理:按 channel/tool-call ID 聚合,结构完整后再显示或执行。

动手练习

给服务端加一个 2 秒超时、心跳注释帧 : keepalive\n\n 和可注入的断线。完成条件:用户能区分连接中、部分结果、完成和错误;停止后定时器清除;未收到 done 的结果不会写入“成功会话”;连续两个请求不会串流到同一气泡。预计 20 分钟。

面试表达

30 秒回答

我会把流式聊天设计为一条有显式事件协议的 HTTP 响应。服务端发送 token、done 和 error,客户端使用状态机增量渲染;AbortController 触发取消并向上游传播。只有收到 done 才算成功,断线保留 partial 状态并按 request ID 恢复。上线还要验证代理缓冲、首字节延迟、取消是否真正停止推理,以及不同会话之间的隔离。

追问与 3 分钟回答

SSE 的优点是基于 HTTP、单向流易部署,适合服务端向页面推 token;需要双向低延迟协作时再比较 WebSocket。事件协议需带 request_id、序号、类型和结束原因。客户端不能每个网络 chunk 都当一个完整 token 或完整事件,因为 chunk 边界没有语义保证。断线恢复可用事件 ID 与游标重放,但模型生成通常不可无条件从字节位置续算,因此要区分“重连事件流”和“重新执行模型任务”。写入历史前验证完成状态;工具调用累积期间只存结构化草稿,参数校验、权限和用户确认仍由服务端执行。监控首 token P50/P95、完成率、取消生效率、断线恢复率和每个成功任务成本。

今日自测

1. 基础理解

浏览器网络 chunk 就是一个模型 token 吗?不是。传输层分片由网络栈决定,协议事件可能跨 chunk,也可能多个事件合并在一个 chunk 内。
### 2. 工程取舍
HTTP 200 且收到了若干 token,为什么不代表成功?服务可能在 done 前断开;应用需要明确结束事件和终止原因。

3. 场景应用

用户停止生成后,服务端如何证明取消生效?关联任务 ID,向上游发送取消并记录取消确认/最终状态;若上游不能取消,标记仍运行并受预算与超时约束。
## 市场雷达 9 月 25 日 OpenAI 官方客户案例展示 Codex 参与构建与运营车队管理应用,但未公开足以验证通用招聘要求的样本数据;本期没有以单一案例推断岗位普遍变化。 ## 权威来源 - [WHATWG HTML:Server-Sent Events](https://html.spec.whatwg.org/multipage/server-sent-events.html) — 事件流帧格式、重连与结束语义。 - [MDN:Using server-sent events](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events) — 浏览器 EventSource 与 SSE 使用边界。 - [MDN:AbortController](https://developer.mozilla.org/en-US/docs/Web/API/AbortController) — 浏览器请求取消信号。 - [OpenAI Streaming Responses](https://platform.openai.com/docs/guides/streaming-responses) — 模型事件流要转换为应用层状态。 - [OpenAI Proaction 客户案例](https://openai.com/index/proaction) — 今日市场雷达案例,指标为官方客户故事。 ## 明天会用到 明天是周日复盘:比较 SSE、WebSocket 与普通 HTTP 的选择条件,并用本项目的数据说明流式体验的可靠性指标和失败边界。

返回课程列表