Skip to content

五、Fine-tuning(微调)

微调 = 用你的数据重训模型参数,教它"行为/风格/格式"(不是知识!)。是最后手段

⭐ 三种定制方式怎么选(最重要)

想让 AI……
├─ 知道某些事实/资料           → RAG      (教"知识")
├─ 临时按某要求做              → Prompt   (临时)
└─ 永远稳定按某风格/格式做
   且 Prompt+RAG 都搞不定       → Fine-tuning(教"行为")
  • 核心区别:RAG 教"知识"(该知道什么),微调教"行为/风格"(该怎么做)。
  • 别用微调做知识问答 → 那是 RAG 的活;微调进去的知识贵、会过时、易学歪。
  • LoRA:只训练一小块"补丁"参数,成本降到 1%,消费级显卡可跑。现在开源微调基本用它。
  • :贵/慢、知识会过时、灾难性遗忘、需要几百上千条高质量数据、模型升级要重来。
  • 对网校:几乎都是 RAG 能解决的,大概率用不上微调

© 曹宇春 · 个人学习整理,欢迎交流