AI 求职每日一课 · 2026-09-26
第 1 月 · 会调用 / 第 3 周 · 做出流畅的 AI 对话体验
今日主课:周六项目:把 SSE 流式聊天做成可恢复、可取消的对话页
课程阶段: 第 1 月 · 会调用 本周主题: 第 3 周 · 做出流畅的 AI 对话体验 今日主课: 周六项目:把 SSE 流式聊天做成可恢复、可取消的对话页 今日成果: 运行一个 Node.js SSE 服务与浏览器客户端,完成增量渲染、取消和断线状态展示 适用岗位: AI 应用工程师 / Agent 工程师 / AI 前端 / AI 后端 预计用时: 30 分钟
今日 TL;DR
做流式聊天要定义事件协议和状态机:只有收到 done 才算完成;取消应传到上游,断线则保留可识别、可恢复的部分结果。
今日面试经验 Top 3
1 — 传输分片不等于模型 token
SSE 以空行分隔事件;一个网络 chunk 可能只有半个事件,也可能合并多个事件。来源:WHATWG SSE 规范。
2 — HTTP 200 不等于生成成功
应用必须识别明确的 done / error 终止事件,并将未完成文本标为 partial。来源:MDN Server-Sent Events。
3 — 取消 UI 不代表取消推理
取消信号需由客户端、服务端任务和上游模型共同处理并确认。来源:MDN AbortController。
为什么今天学这个
课表从 9 月 21 日进入第三周:周一传输方式、周二 Token 流与 UI 状态机、周三取消/超时/重连、周四历史裁剪、周五 Loading/部分结果/错误、周六做项目。最近 7 天并非所有课程都连续发布;9 月 25 日课程缺失,因此不假装昨天已学完“状态体验”,这里先补上最小状态机,再把已有历史裁剪要点接进项目。下周将进入可靠模型访问层,本项目会成为多模型网关的前端验证器。
SSE(Server-Sent Events)是服务器通过一条 HTTP 响应持续向浏览器发送带事件边界的数据。它适合“浏览器发起一次请求,服务端持续输出”的文本生成;双向交互仍由后续 HTTP 请求完成。
一张图讲清楚
三个核心要点
- 流是一条协议,不是字符串拼接。 服务端需要
Content-Type: text/event-stream,每个事件以空行结束;客户端按事件类型区分 token、done 和 error。 - 取消要沿调用链传播。
AbortController取消浏览器读取后,还需确认后端能停止模型请求;若上游不支持取消,应停止计费或记录无法终止的任务状态。 - 部分结果是一种真实状态。 网络断开时已经显示的文本不等于完整回答;界面应保留部分内容、标为中断,并提供重试/继续入口,禁止伪装为成功。
最小可运行示例
需要 Node.js 18+。保存为 server.mjs:
import { createServer } from 'node:http';
import { readFileSync } from 'node:fs';
createServer((req, res) => {
if (req.url === '/' && req.method === 'GET') {
res.writeHead(200, { 'Content-Type': 'text/html; charset=utf-8' });
res.end(readFileSync(new URL('./client.html', import.meta.url))); return;
}
if (req.url !== '/chat' || req.method !== 'GET') {
res.writeHead(404).end('not found'); return;
}
res.writeHead(200, {
'Content-Type': 'text/event-stream; charset=utf-8',
'Cache-Control': 'no-cache, no-transform',
'Connection': 'keep-alive',
});
res.flushHeaders();
const words = ['流式', '输出', '要有', '边界。'];
let i = 0;
const timer = setInterval(() => {
if (i === words.length) {
res.write('event: done\ndata: {}\n\n');
clearInterval(timer); res.end(); return;
}
res.write(`event: token\ndata: ${JSON.stringify({ text: words[i++] })}\n\n`);
}, 250);
req.on('close', () => clearInterval(timer));
}).listen(8787, () => console.log('http://localhost:8787'));
保存 client.html,与服务同源打开或通过本地静态服务器访问:
<button id="send">开始</button><button id="stop">停止</button><pre id="out"></pre><script>
let controller;
document.querySelector('#send').onclick = async () => {
controller = new AbortController();
const out = document.querySelector('#out'); out.textContent = '生成中…\n';
try {
const r = await fetch('/chat', { signal: controller.signal });
if (!r.ok || !r.body) throw new Error(`HTTP_${r.status}`);
const reader = r.body.getReader(), decoder = new TextDecoder(); let buffer = '';
while (true) {
const { value, done } = await reader.read(); if (done) break;
buffer += decoder.decode(value, { stream: true });
const events = buffer.split('\n\n'); buffer = events.pop();
for (const event of events) {
const kind = event.match(/^event: (.+)$/m)?.[1];
const data = event.match(/^data: (.+)$/m)?.[1] ?? '{}';
if (kind === 'token') out.textContent += JSON.parse(data).text;
if (kind === 'done') out.textContent += '\n[完成]';
}
}
} catch (e) {
out.textContent += e.name === 'AbortError' ? '\n[已停止,以上为部分结果]' : `\n[连接中断:${e.message}]`;
}
};
document.querySelector('#stop').onclick = () => controller?.abort();
</script>
运行 node server.mjs,可验证分段到达和浏览器停止。生产端还要处理 UTF-8 分片边界:示例用 TextDecoder 默认非流式行为时,复杂多字节切片应采用 decoder.decode(value,{stream:true})(客户端已如此),解析器还须兼容 CRLF、多条 data 行及末尾未完成帧。
生产环境会怎么翻车
- 代理缓冲导致一次性吐出。 症状:服务器日志有多个 token,浏览器最后一次显示;根因:Nginx/CDN 缓冲或压缩合并;处理:按部署层关闭响应缓冲并在真实链路检查首字节时间。
- 用户点停止但模型仍继续。 症状:界面停了,账单和后端任务继续增长;根因:取消信号未传到上游 SDK/任务队列;处理:后端持有任务 ID,支持取消确认与超时回收。
- 断线内容被标为完整成功。 症状:部分回答进入历史并参与下一轮;根因:只监听连接关闭、不区分终止事件;处理:只有收到
done才标完成,断线保留 partial 状态。 - 工具调用被拆碎。 症状:JSON 参数前半段被渲染成最终答案;根因:UI 把所有 delta 一律显示为用户文本;处理:按 channel/tool-call ID 聚合,结构完整后再显示或执行。
动手练习
给服务端加一个 2 秒超时、心跳注释帧 : keepalive\n\n 和可注入的断线。完成条件:用户能区分连接中、部分结果、完成和错误;停止后定时器清除;未收到 done 的结果不会写入“成功会话”;连续两个请求不会串流到同一气泡。预计 20 分钟。
面试表达
30 秒回答
我会把流式聊天设计为一条有显式事件协议的 HTTP 响应。服务端发送 token、done 和 error,客户端使用状态机增量渲染;AbortController 触发取消并向上游传播。只有收到 done 才算成功,断线保留 partial 状态并按 request ID 恢复。上线还要验证代理缓冲、首字节延迟、取消是否真正停止推理,以及不同会话之间的隔离。
追问与 3 分钟回答
SSE 的优点是基于 HTTP、单向流易部署,适合服务端向页面推 token;需要双向低延迟协作时再比较 WebSocket。事件协议需带 request_id、序号、类型和结束原因。客户端不能每个网络 chunk 都当一个完整 token 或完整事件,因为 chunk 边界没有语义保证。断线恢复可用事件 ID 与游标重放,但模型生成通常不可无条件从字节位置续算,因此要区分“重连事件流”和“重新执行模型任务”。写入历史前验证完成状态;工具调用累积期间只存结构化草稿,参数校验、权限和用户确认仍由服务端执行。监控首 token P50/P95、完成率、取消生效率、断线恢复率和每个成功任务成本。