Appearance
五、Fine-tuning(微调)
微调 = 用你的数据重训模型参数,教它"行为/风格/格式"(不是知识!)。是最后手段。
⭐ 三种定制方式怎么选(最重要)
想让 AI……
├─ 知道某些事实/资料 → RAG (教"知识")
├─ 临时按某要求做 → Prompt (临时)
└─ 永远稳定按某风格/格式做
且 Prompt+RAG 都搞不定 → Fine-tuning(教"行为")- 核心区别:RAG 教"知识"(该知道什么),微调教"行为/风格"(该怎么做)。
- 别用微调做知识问答 → 那是 RAG 的活;微调进去的知识贵、会过时、易学歪。
- LoRA:只训练一小块"补丁"参数,成本降到 1%,消费级显卡可跑。现在开源微调基本用它。
- 坑:贵/慢、知识会过时、灾难性遗忘、需要几百上千条高质量数据、模型升级要重来。
- 对网校:几乎都是 RAG 能解决的,大概率用不上微调。