Appearance
第 06 课 · 流式、假流式与超时
结论:真 SSE 取决于网关能否边算边推;Serverless HTTP 常整包缓冲——假流式改善体感,不省等待与计费。
三层分别能不能流
| 层 | 常见情况 |
|---|---|
| 模型厂商 API | 大多支持 stream: true |
| CFC / 多数云函数 HTTP | return { body } 整包,难真流式 |
| 浏览器 | 可以吃 SSE;若一次到齐就假打字机 |
learn:上游千帆可 SSE,CFC 返回整包 → 页脚 stream: fake。
和成本、超时的关系
- 假流式不减少 Token,也不减少「等模型」的时间
- 超时设太短 → 重试 ↑ → 成本 ↑
- 超时设太长 → 用户空等;要有「相关阅读先出」
助教先出 meta.refs,再出正文,就是把「有用东西」提前。
何时值得上真流式专用通道
- 日活高、长答多、体感口碑是核心 KPI
- 有预算维护非缓冲网关 / 常驻 BFF
个人手册站:假流式通常够。
练习
看你的助教页脚:是 sse 还是 fake?向同事解释一句原因。