Skip to content

第 01 课 · 模型不是越贵越好

结论:贵模型适合难任务与兜底;默认路径应用「够用且稳」的模型。


本课要解决的问题

榜单每周换脸,采购和开发容易陷入:「都换成最贵的,准没错」。上线后发现延迟高、配额紧、账单炸,却回答质量未必涨多少。

三档任务,三档模型心智

任务档例子模型策略
简单分类、改写、短摘要、格式化 JSON小模型 / 高速档
中等手册问答、带引用的短答、常规编码高性价比主力(如 DeepSeek)
长推理、复杂重构、高风险文案终审强模型或人工终审

把「难模型」当急救箱,不当自来水。

能力之外,还要看的五件事

  1. 延迟:用户能不能等 20 秒?
  2. 稳定性:高峰是否 429 / 空响应?
  3. 上下文长度:多轮历史会不会经常顶满?
  4. 配额与区域:Key 有没有开通该模型?
  5. 合规与日志:日志里会不会落隐私?

learn「手册助教」从 ernie-x1.1 换到 deepseek-v3.2,不是因为榜一变了,而是:同属可回答导读级问题,单价与可用性更合适

反模式

  • 所有接口共用一个最贵模型
  • 前端写死模型 ID,换模要发版
  • 只看平均质量,不看 P95 延迟与错误率

练习

列出你产品上的 3 个 AI 调用点,各自标成「简 / 中 / 难」。看有没有「简」还在打「难」。

下一课

第 02 课 · Token 账单怎么算

© 曹宇春 · 个人学习整理,欢迎交流