Skip to content

第 04 课 · 多模型路由:什么时候切

结论:默认走便宜主力;难例、失败重试、人工入口再升舱。


常见路由策略

策略做法适合
静态默认环境变量一个 MODELMVP、个人站
按接口/ask 用 A,/review 用 B职责清晰
按难度分类器 / 规则先粗分档量大时省钱
失败升舱A 超时或拒答 → B体验兜底

learn 现阶段是 静态默认(QIANFAN_MODEL,足够。量上来再按接口拆。

升舱触发条件(示例)

  • 用户点了「不准」超过阈值(可后接入)
  • 输出过短且检索分很高(可能无理解)
  • 上游 5xx / 超时

注意:升舱 = 立刻更贵,要有频率上限。

配置建议

text
QIANFAN_MODEL=deepseek-v3.2          # 默认
QIANFAN_MODEL_FALLBACK=...          # 可选兜底

代码只读环境变量;禁止在十个文件里写死模型字符串。

练习

给你的服务画一张路由图:默认 / 升舱 / 降级到「仅检索不生成」画成三岔口。

下一课

第 05 课 · Key 放哪、谁来调

© 曹宇春 · 个人学习整理,欢迎交流