Skip to content

第 06 课 · 流式、假流式与超时

结论:真 SSE 取决于网关能否边算边推;Serverless HTTP 常整包缓冲——假流式改善体感,不省等待与计费。


三层分别能不能流

常见情况
模型厂商 API大多支持 stream: true
CFC / 多数云函数 HTTPreturn { body } 整包,难真流式
浏览器可以吃 SSE;若一次到齐就假打字机

learn:上游千帆可 SSE,CFC 返回整包 → 页脚 stream: fake

和成本、超时的关系

  • 假流式不减少 Token,也不减少「等模型」的时间
  • 超时设太短 → 重试 ↑ → 成本 ↑
  • 超时设太长 → 用户空等;要有「相关阅读先出」

助教先出 meta.refs,再出正文,就是把「有用东西」提前。

何时值得上真流式专用通道

  • 日活高、长答多、体感口碑是核心 KPI
  • 有预算维护非缓冲网关 / 常驻 BFF

个人手册站:假流式通常够。

练习

看你的助教页脚:是 sse 还是 fake?向同事解释一句原因。

下一课

第 07 课 · 限流、缓存与降级

© 曹宇春 · 个人学习整理,欢迎交流