Appearance
第 04 课 · 多模型路由:什么时候切
结论:默认走便宜主力;难例、失败重试、人工入口再升舱。
常见路由策略
| 策略 | 做法 | 适合 |
|---|---|---|
| 静态默认 | 环境变量一个 MODEL | MVP、个人站 |
| 按接口 | /ask 用 A,/review 用 B | 职责清晰 |
| 按难度 | 分类器 / 规则先粗分档 | 量大时省钱 |
| 失败升舱 | A 超时或拒答 → B | 体验兜底 |
learn 现阶段是 静态默认(QIANFAN_MODEL),足够。量上来再按接口拆。
升舱触发条件(示例)
- 用户点了「不准」超过阈值(可后接入)
- 输出过短且检索分很高(可能无理解)
- 上游 5xx / 超时
注意:升舱 = 立刻更贵,要有频率上限。
配置建议
text
QIANFAN_MODEL=deepseek-v3.2 # 默认
QIANFAN_MODEL_FALLBACK=... # 可选兜底代码只读环境变量;禁止在十个文件里写死模型字符串。
练习
给你的服务画一张路由图:默认 / 升舱 / 降级到「仅检索不生成」画成三岔口。