Skip to content

第 07 课 · 限流、缓存与降级

结论:控费三板斧——限谁进来、少打重复、挂了还能用。


1. 限流

做法
云函数同 IP 每分钟 N 次(learn 进程内计数,够 MVP)
网关 / WAF进阶
产品登录用户配额(若有账号)

限流文案要人话:「太快了,稍后再问」。

2. 缓存(慎用)

适合:同一问题 + 同一 scope + 同一模型 的短窗缓存。
不适合:强个性化、高风险合规回答。

手册问答可以:热门建议问题预计算结果(很少变)。

3. 降级梯队

text
完整:检索 + 生成
  ↓ 模型挂 / Key 无
仅检索:相关课列表
  ↓ 再挂
静态:自己打开目录读书

learn 设计目标:助手挂了,书仍可读。这就是产品级降级。

反模式

  • 无限重试打爆上游
  • 错误时返回空,不给相关阅读
  • 限流把官网爬虫和正常用户一锅端又不区分

下一课

第 08 课 · 案例:手册助教换模型

© 曹宇春 · 个人学习整理,欢迎交流