Appearance
第 01 课 · 模型不是越贵越好
结论:贵模型适合难任务与兜底;默认路径应用「够用且稳」的模型。
本课要解决的问题
榜单每周换脸,采购和开发容易陷入:「都换成最贵的,准没错」。上线后发现延迟高、配额紧、账单炸,却回答质量未必涨多少。
三档任务,三档模型心智
| 任务档 | 例子 | 模型策略 |
|---|---|---|
| 简单 | 分类、改写、短摘要、格式化 JSON | 小模型 / 高速档 |
| 中等 | 手册问答、带引用的短答、常规编码 | 高性价比主力(如 DeepSeek) |
| 难 | 长推理、复杂重构、高风险文案终审 | 强模型或人工终审 |
把「难模型」当急救箱,不当自来水。
能力之外,还要看的五件事
- 延迟:用户能不能等 20 秒?
- 稳定性:高峰是否 429 / 空响应?
- 上下文长度:多轮历史会不会经常顶满?
- 配额与区域:Key 有没有开通该模型?
- 合规与日志:日志里会不会落隐私?
learn「手册助教」从 ernie-x1.1 换到 deepseek-v3.2,不是因为榜一变了,而是:同属可回答导读级问题,单价与可用性更合适。
反模式
- 所有接口共用一个最贵模型
- 前端写死模型 ID,换模要发版
- 只看平均质量,不看 P95 延迟与错误率
练习
列出你产品上的 3 个 AI 调用点,各自标成「简 / 中 / 难」。看有没有「简」还在打「难」。