Appearance
第 07 课 · 限流、缓存与降级
结论:控费三板斧——限谁进来、少打重复、挂了还能用。
1. 限流
| 层 | 做法 |
|---|---|
| 云函数 | 同 IP 每分钟 N 次(learn 进程内计数,够 MVP) |
| 网关 / WAF | 进阶 |
| 产品 | 登录用户配额(若有账号) |
限流文案要人话:「太快了,稍后再问」。
2. 缓存(慎用)
适合:同一问题 + 同一 scope + 同一模型 的短窗缓存。
不适合:强个性化、高风险合规回答。
手册问答可以:热门建议问题预计算结果(很少变)。
3. 降级梯队
text
完整:检索 + 生成
↓ 模型挂 / Key 无
仅检索:相关课列表
↓ 再挂
静态:自己打开目录读书learn 设计目标:助手挂了,书仍可读。这就是产品级降级。
反模式
- 无限重试打爆上游
- 错误时返回空,不给相关阅读
- 限流把官网爬虫和正常用户一锅端又不区分